在线网站提取工具：用途、限制与安全性

一位客户曾要求我从他们的旧网站中提取所有产品照片, 大约300张图片，散落在四年的目录页面中。他们不需要HTML、CSS或完整的镜像。只需要图片，放在一个文件夹里，并合理命名。这就是提取工作，而在线网站提取器通常是最快的方法。

提取器是下载器的“挑剔表亲”。它们不会把所有东西都拿走，而是提取特定类型的内容, 文本、图像、链接、元数据, 并以可用的形式返回。以下是它们擅长的领域、在线工具胜过本地软件的地方以及它们落败的环节，还有在将URL粘贴到陌生人的表单之前值得提出的安全问题。

在线网站提取器的实际工作原理

你提供一个URL，它就会抓取页面, 有时还会对周围进行浅层爬取, 解析HTML，并返回过滤后的片段。无需安装，无需代码；整个过程都在浏览器标签页中完成。根据工具的不同，提供的片段包括：

• 内容提取： 可读的文章正文，去除了导航、广告和样板文字
• 媒体提取： 页面引用的每个图像、视频或音频文件，打包供下载
• 链接提取： 页面上的每个href，通常分为内部和外部列表
• 联系方式提取： 标记中可见的电子邮件地址、电话号码和社交资料
• 结构化数据： JSON-LD块、Open Graph标签、元标题和描述，有时甚至将整个HTML表格转换为CSV

在底层，优秀的内容提取器会运行类似可读性算法的机制，对HTML块进行评分并保留实质内容, 这与浏览器阅读模式使用的技巧相同。这就是为什么好的工具能返回干净的文章正文，而差的工具返回的是导航菜单，文章反而成了脚注。

人们实际使用它们的工作场景

四个场景占据了大部分实际用途。第一，迁移前盘点：在重建网站之前，将每个元标题、描述和标题提取到电子表格中，以免遗漏。第二，恢复你自己的资产, 就像那个产品照片的工作, 当原件丢失但网站仍在提供它们时。第三，SEO清理：提取关键页面上的所有出站链接，并找出那些现在指向停放域名的链接。第四，内容审计：从旧博客中导出所有文章标题和日期到CSV，以便你决定哪些值得保留。

最近的一个例子：一位2014年WordPress博客的所有者希望在让主机托管过期之前，将每篇文章的标题、日期和正文放入电子表格中。使用提取器二十分钟，得到一个CSV，同一周就取消了托管。注意这些工作的共同点, 你需要的是结构化格式的子集，而不是去照看一个完整的镜像。

在线网站提取工具与本地软件的对比

在线工具在便捷性上胜出。无需安装，几秒钟出结果，而且优秀的工具可以直接输出CSV或zip。它们在规模和控制方面则处于劣势：大多数将你限制在一个页面或浅层爬取，将你的工作排在其他人后面，并且几乎不提供cookie、标头或渲染设置的选项。

本地工具则正好相反。浏览器扩展可以从你登录的页面中提取数据，因为它利用了你的会话。带有requests和BeautifulSoup的Python脚本, 或者用于更大任务的Scrapy, 可以处理身份验证、分页和十万个页面，而无需征求任何人的许可。wget和HTTrack介于两者之间：虽然比较生硬，但只要有正确的accept规则，它们很乐意提取域名上的所有图像。

我的诚恳建议是：如果任务能在下午完成且页面是公开的，就从在线工具开始。当你需要cookie、分页逻辑或下个月再运行一次时，就去写脚本。

将URL粘贴到在线网站提取器中安全吗？

大多数情况下是安全的，但有三个真正的例外情况值得了解。

第一：服务会看到并记录你提交的每个URL。对于公开页面这没问题。但对于预发布链接、包含访问令牌的预览URL或内部网主机名就不行了, 我曾在某个流行提取器的自动补全建议中看到过内部工单系统的URL，这足以说明他们的日志记录情况。第二：下载包。合法的提取器会给你图像、文本或CSV。如果给你一个可执行查看器，那它就不是提取器，而是一种交付机制。第三：仿冒网站。搜索流行工具名称的广告经常导向克隆网站，这些网站的存在就是为了提供恶意软件或收集你粘贴的任何内容。

实用检查清单：

• 坚持使用具有良好声誉的HTTPS网站, 粘贴前先检查
• 切勿粘贴包含令牌、会话ID或密码重置链接的URL
• 切勿向网络工具输入凭据或上传cookie文件
• 预期得到图像、文本、CSV或zip, 如果得到.exe文件，请关闭标签页

如果工具返回的是安装程序而不是图像zip包，那它根本就不是提取器。

这些工具无法触及的内容

每个提取器，无论是在线还是本地，都会遇到同样的障碍。除非工具运行真实的浏览器引擎，否则JavaScript渲染的单页应用会返回一个空壳。登录墙会阻止所有缺乏你会话信息的提取。Robots.txt拦截会让礼貌的爬虫转身离开。速率限制和CAPTCHA会让不礼貌的爬虫后悔来过。深度分页, 论坛帖子列表的第47页, 超出了大多数在线工具的耐心。

无限滚动值得单独一提：页面只包含第一批项目，其余的在你滚动时获取，因此任何不模拟滚动的工具只能看到列表的一小部分。市场和社交资料通常是常见的重灾区。

然而，最难的墙其实最简单：提取器获取的是实时页面。如果网站已经不存在了, 域名过期、主机失效、多年前被删除, 就没有什么可提取的了。URL返回一个停放页面，工具空手而归。

合理的提取工作流程

1. 在使用工具前明确目标：文章正文、图像、链接还是元数据。每种目标都指向不同的提取器。
2. 在一个代表性页面上进行测试并检查输出, 编码、图像分辨率、文本是否保留了标题。
3. 检查输出格式：电子表格用CSV，媒体用zip，如果馈入其他系统则用JSON。
4. 礼貌地运行完整任务。如果工具允许，请限制速度，尤其是在小型网站上。
5. 根据预期验证数量。三百个产品应该产生大约三百套图像，而不是180套。
6. 将源URL列表与结果一起保存。六个月后，没人会记得数据是从哪里来的。

免费与付费的在线网站提取工具

大多数在线提取器采用相同的免费增值模式：每天提供少量免费提取，然后是付费墙。免费层级对于一次性任务确实足够了, 从五个目录页面中提取图像只需花费你的耐心，不花一分钱。

当任务重复或规模扩大时才需要付费：订阅实际购买的是API访问、超过几个层级的爬取深度、定时运行和批量URL列表。不值得付费的是那些完全只是给wget套上一层更漂亮外壳的工具。如果任务是下载该域名上的所有内容，本地工具可以永远免费完成。

当提取转变为恢复时

有时提取请求实际上是伪装的恢复请求。从我的旧网站提取所有文本和图像的前提是旧网站仍在线。如果不在线，内容仍然存在, 在Wayback Machine中, 但没有任何实时抓取的提取器能够触及它。

这正是网站恢复服务填补的空白。它从存档快照恢复死掉的网站，并可以将恢复的文章导出为结构化的XML、CSV或JSON，外加JSON或SQLite文件清单, 一次操作完成提取和恢复，并在付款前锁定文件数量和价格。清单的意义比听起来更大：将其与旧站点地图进行对比，你就能确切知道在重建之前缺失了什么。