Форматы загрузки Archive.org: WARC, CDX и отдельные файлы

Вы нашли обход, нажали «Скачать» и теперь смотрите на 900-мегабайтный файл с расширением.warc.gz, который ни одна программа на вашем компьютере не открывает. Добро пожаловать в наименее документированную часть Archive.org: форматы. Библиотека выдаёт сырые данные захвата, а сырые данные захвата предполагают, что у вас есть собственные инструменты для работы с ними.

Три формата покрывают почти всё, что вы когда-либо скачаете: WARC-файлы, вывод JSON CDX и простые отдельные файлы. Вот что каждый из них из себя представляет, когда он нужен и как превратить его во что-то полезное, включая лайфхак для тех, кто просто хочет вернуть свой старый сайт.

Что на самом деле содержит загрузка Archive.org

Снова два мира хранения. Загрузки элементов дают готовые файлы, PDF это PDF, ISO это ISO. Загрузки со стороны Wayback Machine дают данные веб-захвата: HTTP-ответы, замороженные на момент обхода, плюс индексы, описывающие их. Все запутанные форматы приходят из второго мира, плюс есть запасной вариант с одним файлом, который объединяет оба.

Размеры важны для планирования. Один сегмент WARC из коллекции обхода весит около 1 ГБ в сжатом виде. Список CDX для сайта среднего размера может содержать 50 000 строк JSON. Один файл, ну, один файл. Подбирайте формат под задачу до начала передачи, а не после, перекачивать гигабайт, потому что вы скачали не то, это обряд посвящения, который лучше пропустить.

WARC: сырой формат захвата

WARC (Web ARChive, стандарт ISO 28500), это контейнер, объединяющий записи. Каждая запись, это один захваченный HTTP-обмен: заголовки ответа, затем точные байты полезной нагрузки, плюс метаданные, такие как время захвата и целевой URL. Записи бывают разных типов, response, resource, metadata, warcinfo, и файлы почти всегда поступают в gzip, по одной записи на элемент gzip, чтобы инструменты могли выполнять поиск без распаковки всего архива.

• Ничего не отображается и не очищается. Вы получаете побайтно то, что видел краулер, включая страницы 404 и цепочки перенаправлений.
• Один WARC содержит тысячи часто несвязанных URL из одного обхода, ваш сайт может составлять 2% файла.
• Вам нужны инструменты для чтения: библиотека Python warcio для извлечения или ReplayWeb.page и pywb для воспроизведения в виде просматриваемых страниц.

Извлечение с помощью warcio, это цикл фильтрации: откройте архив, пропустите записи, чей целевой URL не относится к вашему домену, запишите полезные данные на диск, зеркально отражая исходные пути, удалите дубликаты по дайджесту. Пятьдесят строк на Python, или один долгий вечер изучения того, почему люди платят за это.

Где взять WARC-файлы? Два места. Спасательные обходы Archive Team и коллекции обходов Internet Archive поставляют их как обычные файлы элементов, ищите.warc.gz в блоке загрузки элемента. И если вы когда-нибудь закажете или экспортируете собственный обход, вы получите WARC. Это контейнер мира веб-архивирования: уродливый, стандартизированный и повсеместный.

JSON CDX: индекс, а не содержимое

CDX, это карточный каталог Wayback Machine. Запросите web.archive.org/cdx/search/cdx?url=example.com&output=json и получите массив JSON, где каждая строка описывает один захват: urlkey, timestamp, original URL, mimetype, statuscode, digest и длину в байтах. Никакого содержимого страницы, только точное меню того, что существует, захват за захватом.

Два флага окупаются при каждом запросе: filter=statuscode:200 отбрасывает перенаправления и страницы ошибок, а collapse=digest удаляет дубликаты захватов одинакового содержимого. На одном магазине WooCommerce клиента эти два флага сократили 38 000 сырых строк до 4 100 реальных уникальных страниц. Этот список стал планом восстановления, и оценкой стоимости.

Полезные хитрости запросов: добавьте matchType=prefix, чтобы охватить все URL в пределах пути, и используйте from=2008&to=2012 для ограничения по годам. Подстановочный знак url=example.com/* уже подразумевает префиксное совпадение по всему домену. Начинайте с узкого запроса, нефильтрованный запрос домена на большом сайте возвращает мегабайты JSON и зависшую вкладку браузера.

• Оценка объёма: какая часть сайта была захвачена и в какие годы.
• Анализ пробелов: поиск каталогов изображений и CDN-хостов, которые никогда не были обойдены.
• Списки массовой загрузки: передавайте пары «метка времени+URL» своему загрузчику, по одному id_-запросу каждый.
• Оценки: Restorix использует те же данные CDX для расчёта стоимости восстановления, количество файлов, общий размер, фиксированная цена, предоплата.

Отдельные файлы: простая загрузка с Archive.org

Третий формат, это едва ли формат: один исходный файл, полученный напрямую. Для элементов это ссылка на файл в блоке загрузки. Для снимков это трюк id_, вставьте id_ после метки времени, например web.archive.org/web/20130501000000id_/http://example.com/logo.png, и Wayback Machine вернёт нетронутую полезную нагрузку без панели инструментов и переписанной разметки.

Используйте отдельные файлы, когда вы точно знаете, чего не хватает: таблица стилей, которая не загрузилась, PDF-прайс-лист, изображение-герой, о котором клиент продолжает спрашивать. Я держу папку с такими файлами для каждого проекта. Чего не стоит делать, так это собирать целый сайт таким образом: 4 000 ручных id_-запросов, это скрипт, который просится на свет.

Два ожидаемых режима отказа. Со стороны снимков id_ работает только в том случае, если этот конкретный URL был захвачен, сначала проверьте индекс CDX, а не угадывайте URL. Со стороны элементов прямой шаблон URL archive.org/download/{идентификатор}/{имя_файла} стабилен и поддаётся скриптованию, но имена файлов с пробелами требуют правильного URL-кодирования, иначе wget выдаст 404 на файл, который явно существует.

Какой формат загрузки Archive.org вам нужен?

Честная цепочка зависимостей для восстановления сайта: сначала CDX, затем WARC или id_-запросы, и в последнюю очередь отдельные файлы для закрытия пробелов. Пропуск шага CDX, это способ скачать гигабайт данных обхода и всё равно пропустить половину сайта. Загрузки элементов находятся вне этой цепочки: это готовые продукты, и если вам нужна книга или драйвер, прекратите читать и нажимайте.

Работа с загруженным

Подводные камни, на которые попадаются все хотя бы раз. Сжатые WARCs являются многокомпонентными, наивная распаковка gunzip работает, но потоковые читатели не должны останавливаться на первом компоненте. Дайджесты повторяются в разных захватах, поэтому дедуплицируйте перед подсчётом файлов, иначе ваши итоги будут лгать. Кодировки символов 2004 года, это не UTF-8; храните байты как байты, пока не придётся декодировать. И каждый URL внутри захваченного HTML, переписанный Wayback Machine, всё ещё указывает на web.archive.org, пока вы не перепишете его обратно.

Планируйте структуру вывода до извлечения: зеркально отражайте исходные пути URL, ведите манифест того, какая полезная нагрузка пришла из какой записи, и никогда не перезаписывайте вариант, который может понадобиться позже. Restorix может экспортировать именно такой манифест (в JSON или SQLite) при каждом восстановлении, делая это вручную, вы поймёте, зачем эта функция существует.

Или вообще избегайте возни с форматами

Всё вышеописанное можно изучить, но ничто из этого не является хорошим использованием выходных владельца бизнеса. Сервис восстановления сайтов существует именно для этого уровня: он читает данные CDX, извлекает захваты, дедуплицирует, переписывает ссылки и выдаёт вам рабочий сайт. Бесплатная смета показывает количество файлов в архиве, общий размер и фиксированную цену до оплаты, первый файл восстанавливается бесплатно, далее вы платите за файл, автоматический возврат остатка в случае сбоя.

Варианты восстановления соответствуют описанным выше проблемам: относительные внутренние ссылки вместо archive.org-URL, преобразование в HTTPS, удаление старой аналитики и рекламы, сохранение перенаправлений 301. Развёртывание в один клик через SSH/SFTP, FTP/FTPS или S3 из панели восстановления, а встроенная CMS по адресу /webarchive-cms.php, случайно сгенерированный пароль, безопасный режим по умолчанию, позволяет редактировать оживлённый сайт, не касаясь инструментов WARC. Форматы, для архивистов. Вы хотите вернуть свой сайт.