Wayback Machine: Полное руководство по просмотру истории веб-страниц

Wayback Machine выручала меня чаще, чем я могу сосчитать. Магазин клиента на WooCommerce, уничтоженный неудачным обновлением плагина. Страница с ценами конкурента за 2019 год, понадобившаяся для судебного спора. Оригинальная версия статьи, которую кто-то тихо переписал после того, как её процитировали в иске. Это память интернета, и пользоваться ею ничего не стоит. Но большинство людей только вводят адрес в строку поиска на главной странице, и упускают всё остальное. Это руководство рассказывает, как архив устроен на самом деле, каждый приём поиска, который стоит знать, где он подводит и что делать, когда просмотра снимков уже недостаточно и вам нужен сам сайт целиком.

Что такое Wayback Machine на самом деле

Wayback Machine, это бесплатный публичный архив веб-страниц, который ведёт Internet Archive, некоммерческая цифровая библиотека из Сан-Франциско. Брюстер Кейл основал организацию в 1996 году, а Wayback Machine открылся для публики в 2001-м. Название отсылает к машине WABAC, устройству для путешествий во времени из мультфильма 1960-х годов «Невероятная история мистера Пибоди», именно поэтому многие ошибочно называют его «way back machine».

Коллекция превысила 900 миллиардов архивных веб-страниц и продолжает расти более чем на миллиард страниц в неделю. Помимо веб-страниц, Internet Archive хранит оцифрованные книги, теленовости, аудио и старое программное обеспечение, которое можно запускать прямо в браузере. Просмотр бесплатный и не требует регистрации.

Прежде всего важно понимать одну вещь: Wayback Machine архивирует страницы, а не сайты. Каждый снимок, это один URL, зафиксированный в один момент времени. Не существует объекта «весь сайт, март 2015 года», лежащего на полке, только тысячи отдельных снимков страниц, которые случайно принадлежат одному домену. Запомните это, потому что этим объясняется почти каждая странность, с которой вы столкнётесь дальше.

Как работают сканирование и снимки

Архив строится краулерами. В первые годы Internet Archive полагался на данные сканирования от Alexa Internet, компании по веб-аналитике, которую Кейл соосновал. Сегодня архив ведёт собственное сканирование, плюс партнёрские обходы и миллионы ручных сохранений от пользователей. Краулер запрашивает URL, сохраняет полученный HTML, затем загружает ресурсы, на которые этот HTML ссылается, изображения, стили, скрипты, каждый как отдельный файл.

Именно последняя деталь объясняет самую частую путаницу. Снимок, это не папка, замороженная во времени. HTML страницы может быть от 3 марта, таблица стилей, от 9 марта, а главное изображение, от 20 февраля. Когда всё совпадает, страница отображается нормально. Когда нет, получается классический сломанный снимок: текст на месте, вёрстка развалилась, вместо фотографий серые прямоугольники.

Как часто сканируется страница

Никакого расписания, на которое можно положиться, нет. Частота сканирования зависит от популярности: главную страницу крупной газеты фиксируют тысячи раз в день, а форум на phpBB 2009 года может появиться дважды за десятилетие. Если страница важна для вас, не ждите, пока краулер до неё доберётся. Сохраните её сами, об этом приёме речь пойдёт через несколько разделов.

Что может заблокировать сканирование

Краулер уважает robots.txt, и исключение может применяться ретроактивно: сайт, который закрывает весь домен через disallow, может убрать из архива всю историю снимков до снятия блокировки. Владельцы сайтов также могут напрямую попросить Internet Archive исключить их контент. Страницы за логинами и платными стенами вообще никогда не сканируются.

Чтение календаря и временной шкалы

Введите URL, и вы попадёте на календарь. Работу делают два инструмента. Столбчатая диаграмма сверху показывает количество снимков по годам, быстрый способ увидеть, когда сайт был жив, когда был активен и когда исчез. Календарь ниже отмечает каждый день, когда был сделан снимок в выбранном году.

• Синий кружок: обычный снимок с ответом 200 OK.
• Зелёный кружок: снимок был перенаправлением. Краулер перешёл по нему, проверьте, куда он привёл.
• Красная отметка: ответ с ошибкой, обычно 404 или 500. Почти никогда не стоит открывать.
• Крупный кружок: больше снимков в этот день. Наведите курсор на день, чтобы увидеть точное время, и нажмите на метку времени, чтобы открыть снимок.

Откройте снимок, сверху появится панель. На ней указан точный timestamp в UTC, стрелки для перехода к предыдущему и следующему снимку, а также панель «About this capture» с метаданными сканирования. Если вы ищете конкретное изменение, например, когда компания убрала пункт о возврате средств, не кликайте по случайным дням. Найдите кластеры и пропуски, а затем локализуйте изменение между последним снимком, где оно ещё есть, и первым, где его уже нет.

Синтаксис поиска Wayback Machine, который стоит запомнить

Строка поиска на главной странице, самый медленный способ. Настоящий интерфейс, это сам URL, и несколько шаблонов покрывают почти всё, что вам когда-либо понадобится.

Два из этих шаблонов заслуживают особого внимания. Список URL по всему домену, самый быстрый способ найти страницу, адрес которой вы помните лишь частично: введите фрагмент пути в поле фильтра, и архив сузит тысячи адресов до нужной записи. А модификатор id_, то, что профессионалы используют, когда нужен сам файл, а не обрамлённый превью, потому что он отдаёт оригинальные байты без панели и без единой переписанной ссылки.

Save Page Now и когда он отказывается

Архив, это не только читальный зал. Save Page Now пишет в него: вставьте любой публичный URL в web.archive.org/save, и краулер загрузит живую страницу за секунды. Бесплатный аккаунт открывает дополнительные возможности, сохранение связанных страниц и полные скриншоты. Если вы публикуете что-то важное, сохранение в тот же день, самая дешёвая страховка в интернете.

Он отказывает чаще, чем люди ожидают. Страницы, заблокированные robots.txt, не сохранятся. Анонимное использование ограничено по скорости, поэтому пакетное сохранение пятидесяти страниц подряд застопорится. Экраны входа сохраняются как экраны входа. А тяжёлые JavaScript-приложения иногда архивируются как пустая оболочка, HTML сохранился нормально, но контент существовал только после выполнения скриптов, а скрипты обращались к API, которого давно нет.

Где Wayback Machine не справляется

• Всё, что за логином, платной стеной или POST-формой, никогда не попадает в архив.
• Интерактивные приложения, рендерящиеся через JavaScript, часто сохраняются как пустые оболочки.
• Стриминговое видео и аудио редко воспроизводятся из старых снимков.
• Пробелы. Та самая неделя, которая вам позарез нужна, надёжно та, которую никто не сканировал.
• Нет скачивания целого сайта. Вы просматриваете по одной странице, а ссылки переписаны так, чтобы вести обратно через архив.
• Серверный код утрачен навсегда. Снимки содержат отрендеренный HTML; PHP, база данных и админ-панель никогда не были публичными, поэтому никогда не были заархивированы.

Ни одно из этих ограничений не является багом. Архив создавался для памяти, а не для миграции, и это различие становится критичным ровно в тот момент, когда ваша цель меняется с чтения старой страницы на восстановление целого сайта.

От Wayback Machine к восстановленному сайту

Просмотр снимка отвечает на вопросы. Он не выдаёт вам сайт. Ссылки ведут обратно на archive.org, ресурсы отдаются с серверов архива, и кнопки экспорта нет. Копирование вручную работает для пары страниц; магазин на 3000 страниц, скопированный так, это месяц жизни, который вы не вернёте. Именно в этот момент люди перестают исследовать и начинают искать восстановление из Wayback Machine.

Этот разрыв, именно то, для чего создан этот сервис. Он извлекает каждый архивный файл домена, восстанавливает рабочие внутренние ссылки и сначала показывает бесплатную оценку, точное количество файлов, общий размер и фиксированную цену до оплаты. Восстановление оплачивается по файлам, первый файл бесплатно, а неудачные восстановления автоматически возвращают средства на баланс. Опции покрывают незаметные, но важные детали: удаление старых скриптов аналитики и рекламы, преобразование ссылок в относительные, принудительный HTTPS, сохранение 301-редиректов и экспорт структурированных данных статей в XML, CSV или JSON.

Когда файлы готовы, одним кликом они разворачиваются на ваш VPS через SSH или SFTP, на shared-хостинг через FTP или в S3-бакет, и каждое развёртывание включает небольшой однофайловый CMS по адресу /webarchive-cms.php, так что восстановленный сайт можно редактировать сразу после загрузки. Руководство проходит полный цикл примерно за десять минут.