时间 Wayback Machine:快照、时间戳与抓取缺口

每个人都叫它时间机器,这个名字之所以流传下来,是因为体验确实像一次时空旅行:输入一个网址,选择一个年份,看着一个已经死去的网站重新活过来。但当你需要某些特定内容时,这个比喻就站不住脚了。真正的时间机器会把你精确地送回你请求的那一刻。而这台机器只会把你送到爬虫当时所在的位置,无论那天它访问过哪里。

一旦你理解了时间 Wayback Machine 究竟是如何记录过去, 抓取、日历、时间戳以及它们之间的缺口, 你就不再靠猜测,而是开始像读仪器一样读它。本指南就是这本使用手册。

时间 Wayback Machine 实际记录了什么

Wayback Machine 并不是连续记录的。它进行的是离散的抓取:爬虫请求一个 URL,存储响应, HTML、图片、样式表、脚本, 并用访问的日期和时间给它打上戳。对于该 URL,历史只存在于这些时刻。其间的一切都只是推断。

规模惊人, 自 1996 年以来已有数千亿次抓取, 但分布并不均匀。一个主流新闻首页可能每天被抓取数十次。一个小型企业网站一年可能只被访问四次。登录后的页面则永远为零。把每个 URL 都当作拥有自己密度的独立时间线来看待。

任何存档页面顶部的条形图显示的是每年的抓取次数。高条意味着爬虫经常来。平坦或缺失的年份则意味着它没来, 而原因通常在你知道该往哪里看之后就能找到。

读取时间线与日历视图

打开任何 URL,你都会看到两个工具。年份条显示每年的抓取次数。点击某个年份,你将看到一个日历:十二个月的日期,有些被圈起来,有些没有。这些圆圈承载着大多数人会一划而过的信息。

这些颜色的价值很快就能体现。一整年的蓝色,接着一个月的红色,然后是绿色,这就讲了一个故事:网站崩溃了,然后开始重定向, 通常指向一个域名停放页或一个未完成的改版。如果你在寻找一个网站最后健康的样子,你需要的是颜色变化之前最后那段蓝色。

我曾用这种方法追查过一个客户的 WooCommerce 商店:2019 年全年是稳定的蓝色,2020 年 3 月出现零星红色, 那是遭遇黑客攻击, 然后是绿色重定向到一个域名出售页。恢复目标自然浮出水面:2020 年 2 月底,这是事情彻底失控之前最后那个密集的蓝色月份。

解读时间 Wayback Machine 快照上的时间戳

每个抓取 URL 都带有一个 14 位时间戳:/web/20150309142312/https://example.com/。按年、月、日、时、分、秒来读, 这里表示 2015 年 3 月 9 日下午 2:23。你可以手动修改这些数字,高级用户经常这样做:改变日期,档案库就会提供最接近你所请求时刻的抓取记录。

1. 时间戳是抓取时间,不是发布时间。2011 年写的文章在 2015 年的抓取记录上仍然显示为 2015。
2. 所有时间均为 UTC。标记为 23:58 的抓取发生在 GMT 午夜前两分钟,无论你的本地时钟显示什么。
3. 同一页面上的文件可能带有不同的时间戳。档案库会将每个资源从其最近的抓取中拼接进来,因此一个页面的 HTML 和图片可能相差数天。
4. 最近匹配有利也有弊。当你请求的日期没有抓取时,你会得到最接近的一条, 在稀疏的时间线上,这可能相差数月。请务必检查实际加载内容的时间戳。

为什么会出现抓取缺口(以及它告诉了你什么)

缺口是常态而非例外,它们背后的原因通常可以指明。

• 热门程度。抓取频率大致与一个网站的链接数量和访问量挂钩。冷门网站很少被抓取。
• Robots.txt。多年来,一条 disallow 规则曾将爬虫完全拒之门外,而旧的排除请求至今仍可能隐藏整个域名。
• 停机。如果爬虫来访时网站宕机,你只会得到一个红色圆圈,或者什么都没有。
• JavaScript 渲染。通过客户端构建内容的页面,抓取时常常是空壳。
• 登录和付费墙。任何需要身份验证的内容对爬虫都不可见。
• 所有权空档。一个过期域名被停放一年,会在日历上产生一系列重定向和错误抓取。

把缺口当作诊断信息来读,它就是数据。一条原本密集的时间线上出现两年的空洞,通常意味着 robots 规则变更、域名失效或长期宕机, 在你买下那个域名或相信那段历史之前,这些都值得了解。

调查一个网站的按时间顺序工作流

1. 从终点开始。找到最后一批健康的蓝色抓取,然后逐年回溯,直到你寻找的内容出现。
2. 按间隔抽样。在密集的时间线上,先每季度检查一次抓取;只在发生变化时再放大到月份。
3. 留意断层。突然的改版、URL 结构变更,或一波重定向抓取,都标志着一个分界, 较旧的内容可能位于不同的 URL 之下。
4. 验证范围不限于首页。在你选定的时期打开五到十个关键内页。首页的抓取不能证明网站其他部分的状态。
5. 随时记录确切的抓取 URL 和时间戳。笼统的"2012 年的某时"既不是引用,也不是合适的恢复目标。

以一个客户想恢复的 2009 年 phpBB 论坛为例。时间线显示 2010 到 2013 年有密集抓取,2014 年的一次改版彻底重构了帖子 URL,2016 年起域名被停放。最理想的时期是 2012–2013 年:帖子完整、附件可用、尚未被垃圾信息淹没。两小时的按时间顺序阅读,省下了一周恢复到错误时期的工夫。

当时间 Wayback Machine 不够用时

两个硬性限制常常让人措手不及。第一,档案库在浏览器中一次只显示一个页面, 并没有整个站点的下载按钮,手动重建任何超过十几页的网站都是折磨。第二,有些内容根本从未被抓取:数据库驱动的功能、搜索功能、购物车,以及任何爬虫看不到的东西。

第一个限制的解决方案是专用恢复工具。Restorix 可以按你选择的日期范围提取一个站点的所有存档文件, 这正是你阅读时间线所得到的信息, 并将其重建为一个可运行的网站。免费估算会在你花钱之前就报告确切的存档文件数、总大小和锁定价格;按恢复文件计费,首个文件免费。

如果你在两个时期之间犹豫,可以对两个日期范围都运行免费估算,比较文件数量, 这是判断档案库覆盖最完整时期的便宜方法。开始后,恢复面板会逐个文件显示实时进度。