Wayback Machine vs Google: как найти утерянные страницы после отключения кэша

Двадцать лет самым быстрым способом посмотреть только что упавшую страницу была ссылка «Сохранённая копия» от Google. В феврале 2024 года Google убрал эту ссылку, а к сентябрю перестал работать и оператор поиска cache:. В том же году Google сделал неожиданную вещь: начал ссылаться на Wayback Machine из архива Internet Archive в панели «Об этом результате». Посыл был ясен, Google индексирует живой веб, а не архив, и решил наконец перестать притворяться.

Но оба инструмента по-прежнему лучше работают вместе. Вот как я комбинирую их, когда страница или весь сайт пропали, включая приёмы с операторами, которые пережили чистку.

Wayback Machine vs Google: два разных вида памяти

Google поддерживает индекс живого интернета. Поисковик постоянно переиндексирует страницы, пересчитывает ранжирование каждый час, и вся его задача, отвечать на вопрос о том, что верно прямо сейчас. Когда страница меняется, старая версия отбрасывается при следующем обходе. Когда страница исчезает, её список ненадолго задерживается, а потом выпадает из выдачи.

Wayback Machine делает противоположное. Это библиотека-заповедник со снимками начиная с 1996 года, более 900 миллиардов страниц. Ей безразлично, что актуально на этой неделе; ей важно, что страница говорила 12 марта 2014 года, и она покажет вам именно ту версию, с оформлением и всем остальным.

Так что инструменты отвечают на разные вопросы. Google: что сейчас на этой странице? Wayback: что эта страница содержала раньше? Путаница между ними, причина того, почему так много людей думают, что у веба есть память, которой на самом деле нет.

Что случилось с кэшем Google

Двадцать лет в каждом результате Google пряталась ссылка «Сохранённая копия», снимок страницы в том виде, в каком её видел Googlebot при последнем обходе. Это был стандартный способ, когда страница выдавала 404 за пять минут до совещания. В феврале 2024 года представитель Google по поиску Дэнни Салливан объявил об отказе от этой ссылки, мотивируя это тем, что надёжность страниц выросла, а использование функции упало. К сентябрю 2024 года оператор поиска cache: перестал работать полностью.

Важны две детали о тайминге. Во-первых, кэш никогда не был архивом: он хранил ровно одну версию, последний обход, и постоянно её перезаписывал. Его потеря лишила нас возможности найти страницу, удалённую сегодня утром, но не исторический контент. Во-вторых, в том же месяце, когда кэш умер, Google добавил ссылки на Wayback Machine в панель «Об этом результате». Нажмите на три точки рядом с любым результатом, выберите «Подробнее о странице», и Google передаёт вас к снимкам Internet Archive. Google официально направил своих пользователей к инструменту, который действительно справляется с задачей.

Для недавних удалений вариантов стало меньше: Wayback часто обходит популярные страницы, archive.today сохраняет страницы по запросу, а сниппеты Google ещё несколько дней держатся в результатах после смерти страницы. Обычно этого хватает. Едва-едва.

Используйте Google для поиска в индексе Wayback Machine

У Wayback Machine есть бета-версия полнотекстового поиска, но она ненадёжна. Обходной путь, о котором никто не говорит: Google индексирует часть web.archive.org, а Google очень хорош в поиске.

Приём простой: site:web.archive.org/web плюс домен, заголовок или, лучше всего, фраза, которую вы помните дословно. Поиск site:web.archive.org "we regret to inform you" вместе с названием бренда находит архивные уведомления о прекращении, которые собственный поиск Wayback не найдёт. Архивные пресс-релизы, удалённые извинительные посты, старая документация, всё это доступно.

Настройте ожидания правильно. Google проиндексировал лишь малую часть снимков из архива, большинство из тех 900 миллиардов страниц для него невидимы. Нулевой результат ничего не доказывает; это значит «нет в той части архива, что проиндексировал Google», а не «не архивировано». Используйте Google как слой обнаружения, а календарь Wayback как источник истины.

Приёмы с оператором site: для Google и Wayback Machine

Вот запросы, которые я реально запускаю, примерно в порядке применения:

1. site:example.com, самая быстрая инвентаризация того, что Google ещё знает об умирающем сайте. Сниппеты держатся днями или неделями после того, как сами страницы уже выдают 404.
2. site:example.com inurl:blog (или /products/, /docs/), разрезает большой домен на секции, чтобы проверить охват по каждой области.
3. site:example.com filetype:pdf, старые технические документы, руководства и спецификации. Каждый мёртвый URL PDF сразу идёт в строку поиска Wayback.
4. "точная фраза с удалённой страницы", поиск в кавычках находит копии парсеров, цитаты на форумах и зеркала. Чем уникальнее фраза, тем лучше.
5. before:2019-01-01, операторы before: и after: смещают результаты в сторону нужной эпохи.
6. site:web.archive.org/web "example.com", сразу переходит к снимкам, которые Google проиндексировал.

Получив URL, два ярлыка экономят реальное время. Вставьте его в Wayback через web.archive.org/web/2/ и адрес, двойка перенаправляет к ближайшему по времени снимку. Или используйте API доступности: archive.org/wayback/available?url=example.com/old-page возвращает ближайший снимок в виде аккуратного JSON, именно то, что нужно в скриптах.

Когда побеждает Google, а когда, Wayback Machine

Быстрая таблица решений:

Если коротко: Google находит иголки; Wayback хранит стога сена. Если вам нужна полная инвентаризация URL вместо одной страницы, маршрут через CDX описан пошагово в руководстве поиск всех страниц на сайте.

Разбор примера: охота за мёртвой страницей товара 2012 года

Реальный случай прошлой весной. Интернет-магазин клиента на WooCommerce давно заменил старый сайт на Joomla; дистрибьютору понадобилась спецификация на снятый с производства товар, а собственные бэкапы клиента, цитирую, «где-то на диске».

1. Запустил site:clientdomain.com filetype:pdf и site:clientdomain.com inurl:products. Живой сайт ничего не дал, но задержавшийся сниппет раскрыл старый паттерн URL Joomla, index.php с идентификатором статьи.
2. Вставил домен в Wayback Machine и перешёл к снимкам 2012 года через мини-календарь.
3. Углубился от снимка главной страницы в раздел товаров. Первый снимок содержал битые изображения; снимок четырьмя месяцами позже был полным, PDF прикреплён и работал.
4. Проверил archive.today на предмет нескольких страниц, которые Wayback пропустил.

Общее время: около десяти минут. Без приёмов с операторами это вечер тупиков. Приёмы просты; всё умение в том, чтобы знать, какой инструмент отвечает на какой вопрос.

Деталь, которую стоит запомнить из той работы: битые изображения в первом снимке не пропали, а просто асинхронны. Wayback обходит страницы и их ресурсы в разное время, поэтому страница, снятая в марте, может ссылаться на изображения, снятые в июне. Если снимок выглядит полупустым, не сдавайтесь. Перейдите на несколько месяцев вперёд или назад, и недостающие элементы обычно появляются. Сниппеты Google страдают той же несинхронностью, поэтому сниппет может процитировать абзац, которого на текущей странице уже нет.

От найденных страниц, к работающему сайту

Находить страницы, самая интересная часть. Восстановление сайта из снимков, нет: сохранить как, переименовать ресурсы, починить пути, а на сороковой странице обнаруживаешь, что таблица стилей живёт в снимке другой даты. Я видел, как люди убивают выходные на пятнадцатистраничном сайте.

Именно эту проблему автоматизирует Restorix CMS. Бесплатная оценка читает CDX-индекс Wayback и показывает точное количество архивных файлов, общий размер и фиксированную цену до оплаты. Восстановления оплачиваются за файл, первый файл бесплатно, можно убрать аналитику и рекламный код той эпохи, а восстановленный сайт разворачивается на вашем хостинге в один клик, или экспортируется как структурированные данные, если предпочитаете хостить самостоятельно. Когда Google и Wayback Machine показали вам, что существовало, вот как это вернуть.