历史网络作为研究资源：哪些经得起考验

几年前，一家公司仅凭一项证据就解决了一场棘手的商标纠纷：他们自己主页在2003年的内容。对方暗示截图是伪造的。当原告出示了与之匹配的Wayback Machine存档，并附上抓取时间戳和Internet Archive的宣誓证词后，对方的论点瞬间瓦解。案件结束。这就是历史网络在发挥作用。

研究人员调取旧页面用于引用。记者调取它们来发现悄无声息的删除。律师调取它们来证明合同、店面或公开声明在特定日期的内容。这些材料都在那里, 数百亿次抓取, 但要用好它们需要一些技巧。存档存在空白，抓取有特殊性，并非每个时间戳都代表你以为的含义。

历史网络究竟是什么

历史网络并非互联网的录像，而是一大堆静态快照。爬虫访问一个URL，保存服务器返回的内容，然后离开。几周或几个月后，它们再次回来重复这个过程。你在web.archive.org上浏览的，就是按URL和日期整理的那堆快照，最早可追溯到1996年。

Internet Archive的Wayback Machine是迄今为止最大的来源，但并非唯一。Common Crawl发布原始抓取数据供批量研究。Archive.today按需抓取单页快照。由哈佛图书馆运营的Perma.cc，旨在为法院和期刊提供不会失效的引用。国家图书馆根据法定缴存规定运营自己的收藏，其中一些规模庞大。

由此得出两点。第一，覆盖不均匀：一个知名主页可能有数千次抓取，而一个不起眼的内部页面只有三次。第二，每次抓取都是爬虫在抓取时刻获取的样本，并非实时页面，也不一定是任何人类访客看到的页面。

谁在使用历史网络，以及为什么

主要有四类用户，他们从同一堆快照中寻找的东西略有不同。

• 学者。引用研究发现，已发表论文中令人沮丧的链接比例在几年内就会失效, 这种现象有个专门名称，叫引用腐烂。学者们现在在引用之前先存档来源，许多人还将历史网络本身作为数据集来研究。
• 记者。被删除的新闻稿、悄悄修改的声明、召回后消失的产品宣称。跑线记者像查阅公开档案一样查阅存档。
• 律师和法务助理。商标首次使用、诽谤、旧版服务条款、产品页面在伤害发生前承诺了什么。存档页面经常出现在纠纷中。
• 网站所有者和SEO从业者。恢复已死网站，购买域名前进行审计，查看竞争对手的转化漏斗在三次改版前是什么样子。

在信任抓取内容之前判断保存质量

并非所有抓取内容都一样。一篇新闻文章2015年的抓取可能是包含照片的完整页面。同一URL在2018年的抓取可能只是一个光秃秃的HTML骨架，因为网站迁移到了在客户端渲染内容的JavaScript框架，爬虫只保存了外壳而没有数据。在引用之前，打开抓取内容查看一下。每次都要这样做。

1. 图片加载了吗？缺失照片意味着爬虫获取了HTML但没有获取资源，或者资源被屏蔽了。
2. 页面有样式吗？无样式页面意味着缺少CSS，通常表示抓取不完整。
3. 内部链接是否指向其他存档页面？点击两三个。死胡同说明抓取很浅。
4. 检查你日期周围的日历。快照附近抓取年份稀疏，更可能得到不完整的抓取。
5. 查看嵌入的第三方内容, 推文、视频、iframe、地图。这些是独立的URL，有独立的抓取，它们是最先丢失的。

还有一个微妙之处：时间一致性。存档从每个文件最近的抓取中组装页面，这些文件可能相隔数天或数周。HTML可能来自3月4日，而主图来自2月19日。对于大多数研究来说这没问题。对于证据，当时间戳重要时，注意每个文件的时间戳, 你可以在每个加载资源的URL中读取它们。

作为法律证据的历史网络

美国及其他地区的法院多年来一直接受存档抓取内容，程序已很成熟。通常途径是认证：Internet Archive有偿提供宣誓证词，认证特定抓取内容，这是法官认可的标准做法。或者，对页面有亲身了解的证人可以认证打印件。

• 商标和商业外观：证明在商业中的首次使用，或商标以特定形式出现。
• 诽谤：声明说了什么，何时发布，何时被撤下。
• 合同纠纷：用户注册当天发布的是哪个版本的服务条款。
• 版权：在先发布日期以及页面在特定时刻的状态。

存档显示的是爬虫接收到的内容，不一定是客户看到的内容。地理定位定价、A/B测试和个性化页面对它来说基本不可见, 在任何人签署宣誓书之前，这一点值得记住。

以你希望别人对待你的抓取内容的那种怀疑态度，对待对方的抓取内容。如果一次抓取就是整个案件，要加以佐证：第二个存档、同时期的截图、服务器日志、电子邮件。法官喜欢汇聚性证据，你也应该如此。

引用存档页面时的常见陷阱

1. 未先打开抓取内容就链接过去。一半情况下，你需要的那一半正是缺失的那一半。
2. 混淆抓取日期和内容日期。时间戳表示爬虫访问的时间，而非文本撰写的时间。
3. 未注意到就跟随了重定向抓取。重定向状态意味着爬虫被引导到了别处；你想要的内容可能位于不同的URL。
4. 只引用一个存档。同时保存一个perma.cc链接或PDF打印件, 抓取内容可能应要求被删除。
5. 假设整个网站都被抓取了。主页抓取只能证明主页存在，仅此而已。

删除、Robots.txt以及页面消失的其他方式

Wayback Machine遵守排除和删除请求。网站所有者可以要求Internet Archive停止存档某个域名，历史抓取内容可能变得不可用。Robots.txt屏蔽曾让爬虫完全无法访问长达数年，因此一个拥有严格robots文件的网站，可能在其历史本该存在的地方留下一个空洞。

实际后果：如果某个抓取内容对你很重要，在发现它的当天就自己做好记录。截取完整页面，保存PDF，记下确切的抓取URL和时间戳。存档持久但并非不朽，纠纷总会在最糟糕的时刻让特定页面消失。

从历史网络回到可运行的网站

有时研究以决定告终：你想把网站找回来。你自己的旧网站、客户的网站、你刚买下并附带十年内容的域名。从存档中复制粘贴页面，五页还行，五千页就不行了。

这就是Restorix填补的空白。它逐文件下载网站的存档副本, HTML、图片、样式表、PDF, 并将其重建为可运行的网站。免费估算会显示确切的存档文件数、总大小和锁定价格，在你支付任何费用之前，按恢复文件付费，第一个文件免费。

对于研究人员，即使网站不再上线，有两个恢复选项也悄然有用：结构化文章导出（XML、CSV或JSON）以及JSON或SQLite格式的完整文件清单。将工具指向一个已死出版物的存档，你得到的是一个数据集，而不是一文件夹HTML。教程会带你走完整个过程。