Archiveorg: внутри крупнейшей бесплатной библиотеки интернета

Люди, которые вводят archiveorg одним словом, обычно знают, куда идут, просто не всегда представляют, сколько всего хранится в этом здании. Большинство приходит ради Wayback Machine и не замечает библиотеку с прокатом книг, концертный архив, новостной архив ТВ или музей софта, открытый в соседней вкладке. И это нормально. Вот полный обзор, а варианты использования для владельцев сайтов я оставил напоследок, потому что именно там развлечение превращается в инструмент, который окупается сам.

Чем на самом деле является Archiveorg

Archiveorg, а правильно Archive.org, это сайт Internet Archive, некоммерческой цифровой библиотеки, основанной в 1996 году в Сан-Франциско. Миссия звучит так: «Всеобщий доступ ко всем знаниям», и сайт, это воплощение этой идеи в форме строки поиска: один бесплатный аккаунт, без платного доступа, без рекламы, всё открыто для просмотра.

Главная страница организована по типу контента, web, texts, video, audio, software, images, у каждого раздела свой поиск и фильтры. Регистрация необязательна для просмотра, но требуется, чтобы брать книги напрокат или загружать файлы. Финансирование идёт за счёт пожертвований, грантов и контрактов на оцифровку с библиотеками, поэтому сайт иногда просит подкинуть пару долларов, а в остальное время не трогает вас.

Wayback Machine: веб-капсула времени Archiveorg

Жемчужина коллекции. В Wayback Machine хранится более 900 миллиардов сохранённых веб-страниц начиная с 1996 года, крупнейшая публичная летопись того, как выглядел веб в любой момент времени. Вставляете URL, получаете календарь со снимками, кликаете дату, и страница загружается в своём исходном виде, со сломанными баннерами и всей компанией.

Две возможности работают на удивление сильно. Save Page Now по адресу web.archive.org/save позволяет любому сохранить страницу мгновенно, используйте после запусков и миграций, чтобы зафиксировать версию, которой вы управляете. А поиск по подстановочному URL вида web.archive.org/web/*/example.com перечисляет все сохранённые адреса в домене, именно так находятся страницы, о существовании которых вы забыли. За полной механикой, приёмы с календарём, модификатор id_ для сырых файлов, представление Summary, загляните в пошаговое руководство по Wayback Machine.

Правда, снимки распределены неравномерно. Популярную новостную главную страницу за год сохраняют тысячи раз; сайт neighbourhood-пекарни, дважды. Правила robots.txt в прошлом скрывали целые домены, а то, что стоит за логином, для краулера как будто никогда не существовало. Отсутствующий снимок, это не приговор, а неопределённость.

Одна важная оговорка, которую скажу прямо, потому что от неё зависит всё дальнейшее в статье: Wayback, это просмотрщик. Он показывает страницы. Он не отдаёт сайт на скачивание.

Книги, аудио и ТВ напрокат бесплатно

Коллекция текстов исчисляется десятками миллионов: сканы книг, научные работы, журналы, мануалы. Через Open Library можно взять современные сканы книг напрокат, на час или на две недели, а всё, что в общественном достоянии, скачивается бесплатно в PDF, ePub или Kindle. Одни только стеллажи со старыми компьютерными и игровыми журналами, полностью отсканированными, стоят того, чтобы сюда заглянуть.

Два тихих уголка заслуживают упоминания: индекс научных работ с открытым доступом и архив мануалов, где почему-то оседает документация к каждому мёртвому прибору в вашем гараже.

Центр аудио, Live Music Archive, больше ста тысяч концертных записей, причём раздел Grateful Dead практически сам по себе институт. Добавьте сюда старые радиопостановки и оцифрованные пластинки 78 оборотов, и вам хватит на годы прослушивания. Архив TV News записывает выпуски и индексирует субтитры, поэтому можно найти каждое упоминание нужной темы за годы эфира. А ещё есть коллекция Прелинджера: тысячи старых учебных, промышленных и рекламных фильмов, лучший источник неловкости середины прошлого века во всём интернете.

Музей софта, в который можно поиграть

Библиотека софта, это тихий хит: десятки тысяч игр под MS-DOS, аркадных автоматов, консольных тайтлов и исторических приложений, всё эмулируется в браузере. Без установок, без возни с конфигами эмуляторов, клик, пара секунд ожидания, и вы уже играете в 1993 год. Здесь же исторический рабочий софт, звучит скучно, пока однажды не понадобится открыть формат, который ничто современное не читает.

Эта коллекция важна не только из-за ностальгии. Это рабочая лаборатория сохранения, доказательство того, что эмуляция позволяет запускать софт спустя десятилетия после смерти его железа. Выделите себе полдня, потеряете их в любом случае.

Аркадный раздел собирает все заголовки, сотни монетных автоматов, но тихие жемчужины скрыты в исторических коллекциях для PC: ранние электронные таблицы, инструменты вёрстки, целые операционные системы, загружающиеся во вкладке браузера. Разработчики используют их, чтобы проверить, как себя вели древние форматы файлов; остальные, чтобы вспомнить, какими терпеливыми люди были раньше.

Archiveorg для владельцев сайтов и вебмастеров

Теперь, то, что окупается само. Если вы управляете сайтами, Archiveorg, это бесплатный рабочий инструмент:

• Следите за собственным цифровым следом. Раз в несколько месяцев заглядывайте в историю снимков домена. Пробелы в ней подскажут, когда краулеры не смогли до вас добраться, иногда это первый заметный симптом ошибки в robots.txt или хостинговой проблемы, о которой никто не сообщал.
• Фиксируйте версии через Save Page Now. Запускаете редизайн или переезжаете на новую платформу? Сохраните ключевые URL до и после. Будущие вы посреди инцидента скажете спасибо.
• Проверяйте домены перед покупкой. Прежде чем купить освободившийся домен, посмотрите, что на нём было. Если домен годами служил спам-фермой, эта репутация перейдёт к вашему проекту.
• Восстанавливайте потерянный контент. Бэкапы ломаются; архивы помнят. Тексты и изображения, вытащенные из снимков, уже спасли не одну страницу из категории «нам это больше никогда не понадобится».
• Занимайтесь конкурентной археологией. Когда конкурент поднял цены? Убрал функцию? Сменил бренд? Их старые страницы, с таймштампами и в открытом доступе.

И ещё кое-что: доказательная база. Снимки с таймштампами регулярно используются, чтобы установить, что именно было написано на странице в конкретную дату, в спорах, в делах о блокировке контента и при комплексной проверке. Снимайте не только страницу, но и панель с таймштампом.

Как достать из Archiveorg настоящие файлы

Просмотр, это не извлечение. Если задача звучит как «восстановить этот сайт», упавший WooCommerce-магазин клиента, форум, который забросил админ, вам нужна выгрузка. сервис восстановления сайтов создан именно для этого: он достаёт архивную копию домена из Wayback Machine и возвращает её в виде рабочих файлов.

1. Начните с бесплатной оценки: точное число архивных файлов, общий объём и зафиксированная цена. Вы узнаете стоимость до того, как потратите хоть цент.
2. Выберите диапазон дат снимков и опции очистки, удаление старой аналитики, рекламы, iframe и внешних ссылок, минификация ассетов, относительные внутренние ссылки, принудительный HTTPS, сохранение редиректов.
3. Оплата за каждый восстановленный файл; первый файл, бесплатно. Один раз пополняете баланс, никаких подписок, неудачные попытки восстановления возвращаются автоматически.
4. Скачайте результат, экспортируйте статьи в XML, CSV или JSON с полным манифестом файлов, либо разверните всё на своём сервере одним кликом. Встроенный Restorix CMS позволяет редактировать восстановленный контент без кода.

Подробности о спасении доменов, просроченных доменах, мёртвом хостинге, сайтах с недостающими ассетами, раскрыты в руководстве по восстановлению старых сайтов, а туториал показывает полный цикл, от оценки до деплоя.

Чего библиотека не сделает за вас

Короткий и честный список. Это не ваш бэкап: частота обхода вам неподвластна, а современные сайты на JavaScript сохраняются плохо. Полнотекстового поиска по веб-архиву нет, только по URL, не по тексту страниц. Контент за логином и за пейволлом никогда не сканировался. Владельцы сайтов могут запросить исключение, поэтому некоторых доменов там просто нет. И по веб-части нет массового скачивания, и об этом стоит повторить, потому что именно с этого вопроса все сюда приходят.

Всё это не умаляет ценности. Это бесплатная публичная библиотека, хранящая веб-память в петабайтных масштабах, которую тянет некоммерческая организация на бюджете, за который было бы стыдно среднему стартапу. Относитесь к ней как к первому месту, куда стоит заглянуть, и знайте, куда идти, когда одного взгляда уже недостаточно.