Files
dsh a66bbdf261 docs: 记录缺失表情 image_emoticon51-59 的抢救路径
CDN、GitHub 镜像、Wayback(含 CDX)、图片搜索、APK 渠道、EIF 解包全部失败;结论为限时表情未存档。
2026-11-18 14:01:08 +08:00

4.6 KiB
Raw Permalink Blame History

变更记录

v1.1.0 — 2026-11-16

事件流与对账。库结构向后兼容(只 ALTER TABLE ADD COLUMN),旧数据自动补 status='live'。

新增

  • 事件流:event / batch 表 + events/<批次>.jsonl,事件是唯一真相,post / comment 是物化结果。
  • 回收站:status / recycled_at / recycle_reason 三列 + post_live / post_recycled 视图;删除不物理删行。
  • verify:完整翻帖对账,产生 post_add / post_del / post_edit / thread_deleted / comment_del; 删除和整帖 4xx 都要两次确认(verify_suspect / thread_suspect / comment_suspect)。
  • as-of:按时间倒放事件,看某帖在某一刻的样子;编辑事件带 old_* 字段保证可撤销。
  • events:查看事件流。
  • restore:整帖 / 单层 / 单条楼中楼从回收站恢复,恢复也记事件。
  • rebuild --check:事件幂等重放 + 回收站有据 + 事件不悬空。
  • update:增量备份(增量枚举 + thread_seen 差异 + 尾页回补 + post_add)。
  • 点赞采样:post_stat_history 只记变化点;content_hash 不含点赞,避免点赞触发编辑。
  • 楼中楼删除检测:只对「内联条数 = reply_num」的完整楼层比对。
  • verify 单页重试:429 空页按 tries 退避重试,不再整帖放弃(实测 1.2/s 有 8% 失败,1.0/s 重试后 0 失败)。
  • --priority unhashed:只核对还没算 content_hash 的帖,覆盖率均匀推进。
  • comment_add 事件:update 抓到的新楼中楼不再直接写表,先发事件再物化(并解析「回复 X :」昵称)。

修复

  • 末页不足 30 楼时 get_posts 返回空、has_more=False、无错误,被误判成 429 无限重试 (真实案例:5 个帖卡了两小时)。现在 err 为空且 has_more=False 视为正常结束。
  • label 的备份截止改用 max(库内 fetched_at, 原始数据文件 mtime),且先 checkpoint 再算 sha256; 重复打标签结果稳定。新增 archive_finished_at / archive_content_cutoff。

测试

59 项离线断言(事件物化、两次确认、整帖回收/恢复、as-of 截断、增量、schema 兼容)。

v1.2.0 — 2026-11-18

界面

  • 页面重做:顶部导航、卡片布局、楼层徽章、楼中楼折叠、图片圆角自适应、跟随系统深色模式;
  • 品牌名改为「吧名 · 同步日期 同步」,日期取自 ARCHIVE.json 的 backup.finished_at;
  • CSS 文件名带内容哈希(style-<md5 前 8 位>.css),每次构建自动换名,避免客户端缓存旧样式。

表情

  • 新增 fetch-emoji:把库里用到的经典表情(image_emoticonN)下载到 data/emoji/;
  • 渲染改为按 frags 生成:文字 + 表情图 + 图片,表情行内显示 (img.emoji{display:inline-block;width:1.35em;vertical-align:-0.28em});
  • t_ / B_ 等新版表情没有公开 CDN,按描述兜底映射到同名经典表情,实测覆盖约 94%;
  • 无编号的 image_emoticon([呵呵])从社区镜像补图;
  • 清理贴吧客户端序列化残留 FragText(text='') 和 \x18 控制符。

ZIM

  • 新增 build-zim:渲染成平铺 HTML(thread-<tid>.html、i/<md5>、e/<表情>)并打包 ZIM, 带中文全文索引,可直接给 kiwix-serve 用;--limit / --no-images / --max-bytes;
  • Windows 原生 libzim 写 >2 GiB 的包会写坏 header(上游 issue #1127,ftell 被 long 截断), 单文件构建走 WSL/Linux;--max-bytes 1.8G 作为 Windows 分卷的兜底;
  • 实际发布:touhou-nendaiki.zim(13.7 GB,37,511 页 + 62,187 张图),Kiwix 路径 /content/touhou-nendaiki/。

文档

  • 新增 docs/emoji.md:表情渲染、image_emoticon51–59 缺失清单与全部抢救路径(CDN/镜像/Wayback/APK/EIF 解包等)。

测试

61 项离线断言(新增 ZIM 构建与搜索、分卷规划、表情残留清理)。

v1.0.0 — 2026-11-16

从 tieba-archive(东方年代记吧一次性备份)的脚本整理成可复用工具。

  • tieba.py + tieba_archiver/ 包:init / check-cookie / enum / crawl / import / images / import-images / stats / export / label / selftest。
  • Cookie 解析支持:整条请求头(含 RT="...;..." 引号内分号)、JSON、cURL、Netscape。
  • 数据目录布局与旧 tieba-archive 兼容,stats 可直接读旧成品库。
  • 全局限速、断点续传、用户资料周期落盘、已删帖处理、页数上限。
  • label:ARCHIVE.md/json + 库内 kv,记录备份截止、内容截止、sha256。