Files
dsh 0824e0ef83 v1.2.0: 事件流对账、增量 update、ZIM 发布与表情渲染
从东方年代记吧一次性备份脚本整理成的贴吧存档工具:crawl/update/verify/as-of/restore/rebuild/images/build-zim,SQLite 事件流 + 回收站 + 中文全文索引 ZIM。
2026-11-18 11:41:25 +08:00

96 lines
3.5 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 数据结构
库是 SQLite(WAL 模式)。完整 DDL 见 `tieba_archiver/schema.sql`;
旧库通过 `db.ensure_compat()` 只做 `ALTER TABLE ADD COLUMN` + `CREATE TABLE IF NOT EXISTS` 升级,
不重建表。
## 表
### 抓取类
| 表 | 主键 | 说明 |
|---|---|---|
| `forum` | `fid` | 吧信息(名称、关注数、帖数) |
| `thread` | `tid` | 主题:标题、作者、`reply_num`、是否精品/置顶、抓取状态、`deleted_at` |
| `post` | `pid` | 楼层:`floor`、作者、纯文本 `content`、fragment JSON `frags`、赞踩、`sign`、`status`、`content_hash` |
| `comment` | `cid` | 楼中楼:`pid` 所属楼层、`rto`(协议给的回复对象 uid)、`reply_to_name` / `reply_to_uid`(正文解析)、`floor` |
| `user` | `uid` | 作者资料:portrait、吧等级、成长等级、性别、IP、吧务/会员 |
| `image` | `url` | 图片队列:md5、体积、本地路径、下载状态 |
### 事件与状态
| 表 | 主键 | 说明 |
|---|---|---|
| `event` | `id` | 不可变事件:`batch`、`ts`、`kind`、`tid/pid/cid/floor`、`payload`、`source`、`evidence` |
| `batch` | `id` | 每次 update / verify / restore 的批次,可整批追溯 |
| `thread_seen` | `tid` | 增量快照:上次看到的 `reply_num`、`max_floor`、`seen_at` |
| `post_stat_history` | `(pid, ts)` | 点赞变化点(只记变化,永久保留) |
| `verify_suspect` | `(tid, pid)` | 第一次发现缺楼,等第二轮确认 |
| `comment_suspect` | `cid` | 同上,楼中楼专用 |
| `thread_suspect` | `tid` | 整帖 4xx 的第一次怀疑 |
### 视图
```sql
post_live -- status='live'
post_recycled -- status='recycled'
comment_live
comment_recycled
```
查询默认用 `_live` 视图;回收站内容用 `_recycled`。
## 事件类型
| kind | payload | 物化效果 |
|---|---|---|
| `post_add` | 完整楼层行 | upsert(`status='live'`) |
| `comment_add` | 完整楼中楼行(含 `reply_to_name`) | upsert |
| `post_del` | 无(`evidence` 记 `missing_hits`) | `status='recycled'`,`recycle_reason='post_deleted'` |
| `post_edit` | 新 `content/frags/imgs/content_hash` + 旧值 `old_*` | 更新正文 |
| `thread_deleted` | 无 | `thread.deleted_at` + 该帖所有 live 楼 → `recycled`(`thread_deleted`) |
| `thread_restored` | 无 | 清 `deleted_at`;只把 `thread_deleted` 的楼翻回 live |
| `post_restored` | 无 | 单层翻回 live |
| `comment_del` | 无 | 楼中楼 → `recycled` |
| `comment_restored` | 无 | 楼中楼翻回 live |
事件同时写入:
- `event` 表(可查询、可重放)
- `events/<批次>.jsonl`(可搬走、可 diff、可离线备份)
## 状态机
```
post.status: live ──(post_del)──→ recycled
←─(post_restored / thread_restored)─
comment.status: 同上
thread.deleted_at: NULL ──(thread_deleted)──→ 时间戳
←─(thread_restored)── NULL
```
`recycle_reason`:
- `post_deleted`:这一层单独被删;
- `thread_deleted`:跟着整帖一起进回收站——恢复整帖时只翻回这一类。
## 列序约定
`post` / `comment` 的历史列在前,v2 补齐列追加在表尾,回收站列再追加在最后。
旧代码如果有 `INSERT INTO post VALUES(...)` 不带列名的写法,列序一致才不会错位。
新代码一律写列名。
## 体积参考(东方年代记吧,2026-11)
| 表 | 行数 |
|---|---|
| thread | 30,486 |
| post | 422,208 |
| comment | 434,311 |
| image | 88,679 |
| user | 6,292 |
库 413 MB;图片 62,187 个文件 / 13.6 GiB。