Машина времени Wayback Machine: снимки, временные метки и пробелы в захвате

Все называют это машиной времени, и название прижилось, потому что ощущение действительно как путешествие во времени: введите URL, выберите год, и мёртвый сайт мигнув, оживает. Но метафора ломается в тот момент, когда вам нужно что-то конкретное. Настоящая машина времени доставила бы вас точно в ту секунду, которую вы указали. Эта же высаживает вас там, где краулер в тот момент находился, в тот день, когда он решил заглянуть.

Как только вы поймёте, как машина времени Wayback Machine действительно записывает прошлое, захваты, календари, временные метки и промежутки между ними, вы перестанете гадать и начнёте читать её как прибор. Это руководство, инструкция по эксплуатации.

Что на самом деле записывает машина времени Wayback Machine

Wayback Machine не записывает непрерывно. Он делает дискретные захваты: краулер запрашивает URL, сохраняет ответ, HTML, изображения, стили, скрипты, и помечает его датой и временем визита. Для данного URL история существует только в эти моменты. Всё остальное, это выводы.

Масштаб поражает, сотни миллиардов захватов, начиная с 1996 года, но они распределены неравномерно. Главную страницу крупного новостного сайта могут захватывать десятки раз в день. Сайт малого бизнеса может получать четыре визита в год. Страница за логином, никогда. Относитесь к каждому URL как к собственной временной шкале с собственной плотностью.

Полоса вверху любой архивной страницы, это столбчатая диаграмма захватов по годам. Высокие столбцы означают, что краулер приходил часто. Плоские или отсутствующие годы, значит, не приходил, и причины обычно можно выяснить, если знать, где искать.

Чтение таймлайна и календарного представления

Откройте любой URL, и вы получите два инструмента. Полоса годов показывает количество захватов за каждый год. Нажмите на год, откроется календарь: двенадцать месяцев по дням, некоторые обведены, некоторые нет. Обводки несут информацию, которую большинство пролистывает.

Цвета быстро оправдывают себя. Год синих захватов, за которым следует месяц красных, а затем зелёные, рассказывает историю: сайт сломался, затем начал перенаправлять, часто на страницу с парковочным доменом или незаконченным редизайном. Если вы ищете последнюю здоровую версию сайта, вам нужен последний участок синих перед тем, как цвета изменятся.

Однажды я так отследил WooCommerce-магазин клиента: сплошной синий цвет до 2019 года, разброс красных в марте 2020, взлом, затем зелёные перенаправления на лендинг с предложением купить домен. Цель восстановления определилась сама: конец февраля 2020, последний плотный синий месяц до того, как всё пошло не так.

Расшифровка временной метки на снимке машины времени Wayback Machine

Каждый URL захвата содержит 14-значную временную метку: /web/20150309142312/https://example.com/. Читайте её как год, месяц, день, час, минуту, секунду, здесь 14:23 9 марта 2015 года. Вы можете редактировать эти цифры вручную, и опытные пользователи делают это постоянно: измените дату, и архив покажет захват, ближайший к запрошенному моменту.

1. Временная метка, это время ползания, а не публикации. Захват 2015 года статьи, написанной в 2011, всё равно будет помечен как 2015.
2. Всё по UTC. Захват с меткой 23:58 произошёл за две минуты до полуночи по Гринвичу, что бы ни показывали ваши часы.
3. Файлы на одной странице могут иметь разные временные метки. Архив собирает каждый ресурс из ближайшего захвата, поэтому HTML страницы и её изображения могут отличаться на дни.
4. Поиск ближайшего работает в обе стороны. Запросите дату без захвата, получите ближайший, который может быть в месяцах на разреженной временной шкале. Всегда проверяйте фактическую временную метку загруженного.

Почему возникают пробелы в захвате (и что они говорят)

Пробелы, это норма, а не исключение, и у них обычно есть названные причины.

• Популярность. Частота ползания примерно следует за количеством ссылок и визитов на сайт. Малоизвестные сайты ползают редко.
• Robots.txt. Годами правило запрета не пускало краулер вообще, и старые запросы на исключение всё ещё могут скрывать целые домены.
• Простой. Если сайт был недоступен, когда краулер заходил, вы получите красную обводку или ничего.
• Рендеринг JavaScript. Страницы, которые строят контент на стороне клиента, часто захватываются как пустые оболочки.
• Логины и платные стены. Всё, что за авторизацией, невидимо для краулера.
• Пробелы владения. Истёкший домен, простоявший год паркованным, даёт календарь перенаправлений и ошибок.

Читая диагностически, пробелы, это данные. Двухлетняя дыра в плотном таймлайне обычно означает изменение robots.txt, истёкший домен или длительный простой, всё это стоит знать, прежде чем покупать домен или доверять этой истории.

Хронологический рабочий процесс для исследования сайта

1. Начните с конца. Найдите последние здоровые синие захваты, затем продвигайтесь назад по годам, пока не появится нужный контент.
2. Выбирайте с интервалами. На плотном таймлайне сначала проверяйте один захват за квартал; углубляйтесь в месяцы только там, где что-то изменилось.
3. Следите за разрывами. Внезапный редизайн, изменение структуры URL или волна захватов с перенаправлениями обозначают границу, более старый контент может жить по другим URL.
4. Проверяйте за пределами главной. Откройте пять-десятеть ключевых внутренних страниц в выбранную эпоху. Захват главной ничего не доказывает об остальном сайте.
5. Записывайте точные URL захватов и временные метки по мере продвижения. Где-то в 2012, это не ссылка и не цель восстановления.

Возьмём phpBB-форум 2009 года, который клиент хотел вернуть. Таймлайн показывал плотные захваты с 2010 по 2013, редизайн в 2014, который изменил URL тредов, и паркованный домен с 2016. Идеальное место, 2012–2013: полные треды, рабочие вложения, до спама. Два часа хронологического чтения сэкономили неделю восстановления неправильной эпохи.

Когда машины времени Wayback Machine недостаточно

Два жёстких ограничения подводят людей. Во-первых, архив показывает страницы по одной, в браузере, нет кнопки «скачать весь сайт», а восстанавливать вручную что-то больше дюжины страниц, мука. Во-вторых, некоторые вещи никогда не захватывались: функции на базе данных, поиск, корзины, всё, что краулер не мог увидеть.

Решение первой проблемы, специализированный инструмент восстановления. Restorix извлекает каждый архивный файл сайта за выбранный вами диапазон дат, именно то, что даёт ваше чтение таймлайна, и восстанавливает его как работающий сайт. Бесплатная оценка сообщает точное количество архивных файлов, общий размер и фиксированную цену до любых трат; вы платите за каждый восстановленный файл, и первый файл бесплатен.

Если вы разрываетесь между двумя эпохами, запустите бесплатную оценку на обоих диапазонах дат и сравните количество файлов, дешёвый способ увидеть, какой период архив покрыл лучше. Как только вы начнёте, панель восстановления покажет прогресс в реальном времени по файлам.