Wayback Machine и исторические сайты: где живёт старый веб

В октябре 2009 года Yahoo закрыл GeoCities. Миллионы самодельных домашних страниц, MIDI-файлы, анимированные GIF-ки «under construction», посвящения забытым сериалам, были помечены на удаление с уведомлением в несколько месяцев. Группа добровольцев Archive Team провела эти месяцы, выскребая всё, что позволяли серверы Yahoo, и выложила добычу в виде торрента. Именно это спасение сделало исторические сайты тем, что можно посетить, а не просто вспомнить.

Поисковый запрос неуклюж, wayback machine, исторические веб-сайты, в каком бы порядке слова ни выпали, но вопрос за ним простой: где живёт старый веб и можно ли его ещё увидеть? Можно. Вот экскурсия по местам, где его хранят: от сотен миллиардов снимков в Wayback Machine до сайта, позволяющего бродить по 1997 году в эмулированном Netscape Navigator. А в конце, практическая часть: как снять с музейной полки кусочек этой истории и вернуть его в онлайн на собственном домене.

Что считается историческим сайтом?

Под это понятие попадают три разные вещи. Во-первых, крупные краулинговые архивы, Wayback Machine и его «кузены» из национальных библиотек, которые делают снимки страниц по расписанию. Во-вторых, спасённые коллекции: мёртвые платформы вроде GeoCities, Tripod или AOL Hometown, сохранённые оптом перед закрытием и перевыложенные добровольцами. В-третьих, живые музеи: проекты типа oldweb.today, которые не просто хранят страницы, а воссоздают опыт их просмотра, с аутентичным оформлением браузеров той эпохи.

Дело не в сантиментах. Исследование Pew Research 2024 года показало, что 38% веб-страниц 2013 года через десять лет оказались недоступны. Страницы исчезают не потому, что кто-то решил, что история закончилась. Они исчезают, потому что истекает срок банковской карты, компания поглощается другой, обновление CMS идёт не так. Исторические сайты, это страховочная сеть для среды, у которой нет печатного издания.

Материал, который стоит сохранять, обычно делится на несколько категорий:

• Самописный HTML до 2010 года, табличные вёрстки, прозрачные GIF-спейсеры, гостевые книги
• Мёртвые платформы: GeoCities, Tripod, Angelfire, блоги на MySpace, Google+
• Форумы на phpBB и vBulletin, часто единственное свидетельство существования нишевого хобби
• Ранние блоги и фотоблоги, появившиеся до эпохи соцсетей
• Закрытые сайты малого бизнеса и клубов, локальная история, которую больше никто не архивировал

Как Wayback Machine стал крупнейшей коллекцией исторических веб-сайтов

Internet Archive, основанный Брюстером Кейлом в 1996 году, открыл Wayback Machine для публики в 2001 году. Сейчас он хранит сотни миллиардов снимков страниц и по-прежнему остаётся дефолтным ответом на вопрос «как этот сайт выглядел пять лет назад». Календарный вид сразу показывает плотность снимков; timemap выводит список всех снимков URL; Save Page Now позволяет любому сохранить страницу, на которой он находится, именно поэтому значительная часть свежего веба оказывается в архиве через считаные минуты после громкой новости.

Есть два приёма, которые стоит знать. Добавьте id_ к таймштампу в URL, web.archive.org/web/20090601id_/http://example.com, и получите исходный файл ровно в том виде, в каком он был сканирован, без внедрённого баннера архива и переписанных ссылок. А CDX API выдаст список всех снимков по шаблону URL, так профессионалы составляют описание всего мёртвого сайта, прежде чем к нему прикасаться.

О пробелах тоже важно помнить. Wayback Machine исторически учитывает robots.txt, поэтому покрытие некоторых старых сайтов остаётся скудным. Страницы, насыщенные JavaScript, часто сохраняют оболочку без контента. Изображения и файлы на сторонних доменах пропускаются. Когда снимок выглядит битым, первое, что стоит попробовать, заглянуть в снимки на несколько месяцев раньше или позже: качество покрытия от даты к дате скачет как попало.

GeoCities и спасательные проекты, которые отказались дать ему умереть

GeoCities был третьим по посещаемости сайтом в вебе, когда Yahoo купил его в 1999 году. Десять лет спустя Yahoo закрыл его, и экстренный скрейп Archive Team стал одной из крупнейших акций цифрового сохранения, когда-либо проведённых добровольцами. Данные продолжают жить на таких площадках, как oocities.org и geocities.ws, которые перевыкладывают спасённые страницы, и в GifCities, поисковике Internet Archive по анимированным GIF из коллекции. Deleted City Ричарда Виджена превращает архив в масштабируемую карту, с районами и всем прочим, а Cameron's World перерабатывает её в коллаж-посвящение.

Два побочных проекта заслуживают отдельного упоминания. One Terabyte of Kilobyte Age, исследовательский блог Оли Лялиной и Драгана Эспеншида, уже много лет публикует скриншоты и эссе из коллекции: ближайший аналог кураторской программы для старого веба. А Neocities, основанный в 2013 году, живой наследник: не архив, а бесплатный хостинг, где люди снова делают самописные домашние страницы, включая эстетику GeoCities.

Урок GeoCities неуютен: ничто, размещённое у кого-то другого, не вечно, какой бы крупной ни была компания. Yahoo был гигантом веба. Платформа пережила свою бизнес-логику ровно на срок, отведённый уведомлением о закрытии.

oldweb.today: просмотр старых страниц в аутентичных браузерах эпохи

Страница 1997 года писалась под Netscape Navigator 4 или Internet Explorer 5. В современном браузере фреймы рассыпаются, апплеты умирают, шрифты подменяются, а тег <blink> сидит и не мигает, современные движки отказываются. oldweb.today, созданный Ильёй Креймером из Webrecorder, решает это, запуская эмулированные старинные браузеры внутри вашего браузера и подсовывая им снимки из Internet Archive и нескольких национальных веб-архивов. Выбираете Mosaic, Netscape или ранний IE, вводите URL и год, и получаете страницу такой, какой она тогда ощущалась.

Выглядит как забава, пока не используешь для исследования. Вёрстка на спейсер-GIF осмысленна только при экранных разрешениях эпохи. Меню на DHTML, написанные под IE4, в современном движке не работают. Если вы изучаете, цитируете или восстанавливаете старые сайты, рендер в браузере, под который их делали, это разница между тем, чтобы смотреть на экспонат, и тем, чтобы смотреть на фотографию экспоната. ArchiveWeb.page от той же команды работает в обратную сторону: записывает ваш текущий просмотр в стандартные WACZ-файлы, чтобы страницы, которые важны вам сегодня, стали чьей-то хорошо сохранённой историей потом.

За пределами Wayback Machine: ещё исторические сайты, о которых стоит знать

Wayback Machine, самый большой, но не единственный. Серьёзные исследования, и серьёзное восстановление, сверяются по нескольким архивам, потому что каждый краулер видел свой срез веба.

Здесь национальные библиотеки заслуживают уважения. Законы об обязательном экземпляре означают, что Британская библиотека, Bibliothèque nationale de France и другие системно сканируют домены своих стран, часто захватывая региональные и государственные сайты, которые Internet Archive видел редко или никогда.

Восстановление исторических веб-сайтов из Wayback Machine

Бродить по музею, это одно. Иногда кусок истории достаточно важен, чтобы вернуть его в рабочее состояние: сайт вашего клуба образца 2003 года, документация закрытого open-source проекта, домашняя страница ушедшего родственника. Ко мне в прошлом году обратился клиент именно с таким случаем, фотоблог, который вела её покойная мать, оффлайн с 2014 года. Семья хотела вернуть его на исходный домен к годовщине.

1. Найдите лучший снимок. Используйте календарный вид и проверьте несколько дат; самый свежий не всегда самый полный. Изображения ломаются в снимках по-разному.
2. Получите реальное описание, прежде чем ввязываться. Бесплатная оценка восстановления сайта считывает архив по вашему домену и возвращает точное количество файлов, общий размер и зафиксированную цену, до того, как вы что-либо платите.
3. Выберите параметры восстановления. Выбор диапазона дат удерживает вас внутри лучшей эпохи сайта; вычистка старой аналитики, рекламы и iframe убирает сторонний хлам 2008 года; относительные внутренние ссылки и конвертация в HTTPS делают результат пригодным для деплоя где угодно.
4. Восстановите. Платите за файл с небольшой фиксированной комиссией, первый файл, бесплатно, подписки нет, только разовые пополнения баланса.
5. Задеплойте и поддерживайте. Деплой в один клик отправляет восстановленный сайт на ваш VPS, шаред-хостинг или S3, а встроенная однофайловая CMS позволяет семье, или секретарю клуба, поправить опечатку, не уча Git.

В случае того фотоблога оценка показала 1 140 файлов и 210 МБ, восстановление заняло меньше часа, а сайт теперь живёт на дешёвом статическом хостинге, который стоит в год меньше, чем один букет цветов. Неудачные восстановления автоматически возвращаются на баланс, так что уровень риска примерно как при чтении чека. Полный процесс wayback restore задокументирован, если хотите сначала изучить детали.

Ссылка на музей против владения экспонатом

Ссылаться на снимок из Wayback Machine нормально для цитаты или разового упоминания. Восстановление побеждает, когда у контента есть текущая ценность: поисковый трафик, который должен приходить на ваш домен; аптайм, который вы контролируете; независимость от политики любого отдельного архива, архивы действительно удаляют контент по запросу, и Wayback Machine не исключение. Моё правило: ссылка для сносок, восстановление, для всего, что было бы жалко потерять дважды.

Ссылка на архив, это обещание, которое держит кто-то другой. Восстановление, копия в ваших руках.