4.6 KiB
4.6 KiB
变更记录
v1.1.0 — 2026-11-16
事件流与对账。库结构向后兼容(只 ALTER TABLE ADD COLUMN),旧数据自动补 status='live'。
新增
- 事件流:
event/batch表 +events/<批次>.jsonl,事件是唯一真相,post/comment是物化结果。 - 回收站:
status/recycled_at/recycle_reason三列 +post_live/post_recycled视图;删除不物理删行。 verify:完整翻帖对账,产生post_add/post_del/post_edit/thread_deleted/comment_del; 删除和整帖 4xx 都要两次确认(verify_suspect/thread_suspect/comment_suspect)。as-of:按时间倒放事件,看某帖在某一刻的样子;编辑事件带old_*字段保证可撤销。events:查看事件流。restore:整帖 / 单层 / 单条楼中楼从回收站恢复,恢复也记事件。rebuild --check:事件幂等重放 + 回收站有据 + 事件不悬空。update:增量备份(增量枚举 +thread_seen差异 + 尾页回补 +post_add)。- 点赞采样:
post_stat_history只记变化点;content_hash不含点赞,避免点赞触发编辑。 - 楼中楼删除检测:只对「内联条数 = reply_num」的完整楼层比对。
verify单页重试:429 空页按tries退避重试,不再整帖放弃(实测 1.2/s 有 8% 失败,1.0/s 重试后 0 失败)。--priority unhashed:只核对还没算content_hash的帖,覆盖率均匀推进。comment_add事件:update抓到的新楼中楼不再直接写表,先发事件再物化(并解析「回复 X :」昵称)。
修复
- 末页不足 30 楼时
get_posts返回空、has_more=False、无错误,被误判成 429 无限重试 (真实案例:5 个帖卡了两小时)。现在err为空且has_more=False视为正常结束。 label的备份截止改用 max(库内fetched_at, 原始数据文件 mtime),且先 checkpoint 再算 sha256; 重复打标签结果稳定。新增archive_finished_at/archive_content_cutoff。
测试
59 项离线断言(事件物化、两次确认、整帖回收/恢复、as-of 截断、增量、schema 兼容)。
v1.2.0 — 2026-11-18
界面
- 页面重做:顶部导航、卡片布局、楼层徽章、楼中楼折叠、图片圆角自适应、跟随系统深色模式;
- 品牌名改为「吧名 · 同步日期 同步」,日期取自
ARCHIVE.json的backup.finished_at; - CSS 文件名带内容哈希(
style-<md5 前 8 位>.css),每次构建自动换名,避免客户端缓存旧样式。
表情
- 新增
fetch-emoji:把库里用到的经典表情(image_emoticonN)下载到data/emoji/; - 渲染改为按
frags生成:文字 + 表情图 + 图片,表情行内显示 (img.emoji{display:inline-block;width:1.35em;vertical-align:-0.28em}); t_/B_等新版表情没有公开 CDN,按描述兜底映射到同名经典表情,实测覆盖约 94%;- 无编号的
image_emoticon([呵呵])从社区镜像补图; - 清理贴吧客户端序列化残留
FragText(text='')和\x18控制符。
ZIM
- 新增
build-zim:渲染成平铺 HTML(thread-<tid>.html、i/<md5>、e/<表情>)并打包 ZIM, 带中文全文索引,可直接给 kiwix-serve 用;--limit/--no-images/--max-bytes; - Windows 原生 libzim 写 >2 GiB 的包会写坏 header(上游 issue #1127,
ftell被long截断), 单文件构建走 WSL/Linux;--max-bytes 1.8G作为 Windows 分卷的兜底; - 实际发布:
touhou-nendaiki.zim(13.7 GB,37,511 页 + 62,187 张图),Kiwix 路径/content/touhou-nendaiki/。
文档
- 新增
docs/emoji.md:表情渲染、image_emoticon51–59缺失清单与全部抢救路径(CDN/镜像/Wayback/APK/EIF 解包等)。
测试
61 项离线断言(新增 ZIM 构建与搜索、分卷规划、表情残留清理)。
v1.0.0 — 2026-11-16
从 tieba-archive(东方年代记吧一次性备份)的脚本整理成可复用工具。
tieba.py+tieba_archiver/包:init/check-cookie/enum/crawl/import/images/import-images/stats/export/label/selftest。- Cookie 解析支持:整条请求头(含
RT="...;..."引号内分号)、JSON、cURL、Netscape。 - 数据目录布局与旧
tieba-archive兼容,stats可直接读旧成品库。 - 全局限速、断点续传、用户资料周期落盘、已删帖处理、页数上限。
label:ARCHIVE.md/json + 库内 kv,记录备份截止、内容截止、sha256。