监控归档进度——实时掌握抓取状态
实时监控指标
归档任务运行时,界面上通常会展示以下信息:
| 指标 | 含义 |
|---|---|
| 已完成条数 | 已经成功归档的动态总数 |
| 总预估量 | 根据互动列表接口返回的数据估算的总量 |
| 进度百分比 | 已完成 / 总预估量 |
| 当前状态 | 正在抓取 / 已暂停(限流)/ 已完成 |
| 限流倒计时 | 如果暂停,显示剩余等待时间 |
| 日志输出 | (部分版本)显示最近几条请求的结果 |
不同版本的界面布局可能略有差异,但核心指标不会变。
正常的进度表现
归档正在健康运行时,你应该看到:
- 进度数字在持续增长(不是每秒疯狂跳,而是每隔几秒增加几条)
- 没有反复出现的错误提示
- 限流状态出现后倒计时归零会自动恢复
如果进度长时间一动不动(超过 5 分钟),可能是:
- 网络问题(检查一下是否还能正常访问 QQ 空间)
- 接口临时波动(等等看,或者暂停后再继续)
- 限流了但界面没及时刷新
归档完成的标志
归档任务跑完后,应用会:
- 状态变为"已完成"
- 界面显示归档总结——总共归档了多少条动态、多少张图片、多少条评论等
- 已归档的数据可以在各个浏览页面正常访问
- 可以进入"导出"阶段(见导出 HTML 页)
归档完成后的核验
归档完成后建议做一次简单的核验:
- 切到"动态列表"看看有没有明显的时间段缺口
- 随便点开几条动态,确认配图和评论都在
- 用互动排行榜看看数据是否合理(你的好朋友应该排在前面)
如果发现明显问题,可能是归档过程中有部分请求失败了。可以试试重新跑一次归档——由于有断点续传机制,重新跑只会补充缺失的数据,不会重复拉取已入库的内容。