Wayback Back Machine: как бы вы ни написали, вот как этим пользоваться

Вы искали «wayback back machine». Возможно, пальцы напечатали лишнее слово, или название просто запомнилось криво. Неважно. Инструмент, который вам нужен, это Wayback Machine на web.archive.org, и это руководство охватывает три вещи, которые людям реально от него нужны: найти снимок, скачать страницу и восстановить целый сайт, когда оригинал уже недоступен.

Я вытаскиваю сайты из этого архива уже много лет, форум phpBB 2009 года для одного клиента, магазин на WooCommerce, чей счёт за хостинг затерялся в папке «Спам», для другого. Инструмент каждый раз один и тот же. Меняется только техника.

Почему так многие пишут «Wayback Back Machine»

В официальном названии необычный ритм, поэтому поисковые логи переполнены вариациями. «Wayback back machine», одна из самых частых. Также встречаются «machine way back», «the way back machine» и «internet wayback machine». Все они ведут в одно и то же место: веб-архив Internet Archive.

Название происходит от машины WABAC, мультипликационного устройства для путешествий во времени из «Приключений Рокки и Буллвинкля». Скажите его вслух с этим контекстом, и оно перестанет выскальзывать из памяти. Wayback. Одно слово, никакого лишнего «back».

Google прощает опечатку. Архив тоже. Важно то, что вы сделаете, когда загрузится календарь.

Поиск снимка в Wayback Machine

Откройте web.archive.org и вставьте полный адрес страницы или сайта в строку поиска. В ответ вы получите временную шкалу: сверху, спарклайн с количеством снимков по годам, снизу, календарь. Дни со снимками помечены цветными кружками. Синий означает чистый ответ 2xx от краулера, зелёный, редирект, оранжевый и красный, ошибки. Чем больше кружок, тем больше снимков за этот день.

1. Вставьте URL с протоколом или без, архив нормализует его автоматически.
2. Кликните год на спарклайне, затем наведите курсор на дату и выберите время снимка.
3. Убедитесь, что страница действительно отображается. Снимок может существовать, но быть сломанным.
4. Покликайте по ссылкам внутри снимка. Внутренние ссылки и ресурсы тоже загружаются из архива.
5. Попробуйте варианты с www и без, а также http против https. Старые сайты часто заархивированы неравномерно.

Не помните точный адрес? Откройте календарную страницу сайта и используйте режим URLs, чтобы посмотреть список захваченных путей. Он выведет страницы, о которых вы забыли, и именно там обычно прячется контент, который вы на самом деле ищете.

Привычка, которая сбережёт нервы: никогда не оценивайте дату только по главной странице. Главная, самая часто сохраняемая страница на любом сайте, поэтому почти всегда выглядит нормально. Прежде чем остановиться на дате, откройте две-три вложенные страницы, товар, пост в блоге, страницу контактов, и убедитесь, что они рендерятся с картинками и стилями. Пятнадцать минут кликов сейчас сэкономят день переделок потом.

Скачивание одной страницы

Для одной страницы у вас есть три рабочих метода, от самого простого до хирургически точного.

1. Сохранение в браузере. Откройте снимок, нажмите Ctrl+S, выберите «Веб-страница, полностью». Вы получите HTML вместе с ресурсами, включая разметку архива. Подойдёт для чтения, но для повторного использования, грязно.
2. Суффикс id_. Измените URL снимка так, чтобы временная метка заканчивалась на id_, например https://web.archive.org/web/20140601120000id_/http://example.com/, и архив отдаст страницу ровно как при захвате: без тулбара, без переписанных ссылок. Откройте исходный код и скопируйте нужное.
3. wget. Натравите wget -p -k на URL с id_, чтобы выкачать страницу и все её зависимости за один заход. Это тот метод, когда нужны и картинки.

Все три подходят для пары страниц. К пятидесятой они перестают быть методом и становятся наказанием.

Какой бы метод вы ни выбрали, откройте сохранённый файл локально, прежде чем доверять ему. Проверьте, что картинки грузятся с диска, а не с web.archive.org, и удалите инжектированную архивом разметку тулбара, если планируете что-то публиковать. Пять минут гигиены сейчас избавят от горячих ссылок на ресурсы архива потом.

Ограничения Wayback Back Machine, когда нужен весь сайт

Архив создавался для просмотра истории, а не для возврата вашего сайта. Это становится очевидным, как только вы пытаетесь восстановить больше нескольких страниц.

• Нет кнопки массового скачивания. Каждый файл, каждая страница, картинка, таблица стилей, скрипт, это отдельный снимок.
• Вложенные страницы сохраняются редко или никогда. У главной может быть 400 снимков, а у страницы товара, два.
• Ресурсы пропадают. HTML может быть за март, а его CSS вообще не попал в архив.
• Ограничения скорости превращают постраничное скачивание в многодневную каторгу.
• Страницы, собираемые JavaScript во время просмотра, часто сохраняются как пустые оболочки.

Посчитайте, прежде чем начать. Сайт из 500 страниц по две минуты на страницу, это больше шестнадцати часов кликов, и вам ещё предстоит починить ссылки, вычистить разметку архива и найти хостинг. Полная картина, в руководстве по скачиванию целого сайта с archive.org.

Восстановление целого сайта, шаг за шагом

Именно для этого создан наш сервис восстановления. Вставьте домен, и получите бесплатную мгновенную оценку: точное количество файлов в архиве, общий размер и фиксированную цену до оплаты. Без подписок, вы пополняете баланс картой или криптой и платите за каждый восстановленный файл. Первый файл бесплатно.

1. Введите домен и изучите оценку.
2. Выберите диапазон дат, чтобы восстановить сайт в его лучшем виде, а не в самом свежем.
3. Настройте параметры: убрать аналитику, рекламу и iframe, преобразовать внутренние ссылки в относительные, принудительно включить HTTPS, минифицировать JS и CSS.
4. Запустите восстановление и следите за прогрессом в реальном времени в дашборде.
5. Скачайте готовый сайт или разверните его сразу на своём хостинге.

Развёртывание в один клик на SSH- или SFTP-VPS, на FTP/FTPS-шаред-хостинг или в S3, учётные данные шифруются AES-256-GCM. Каждое развёртывание включает бесплатный Restorix CMS, одноредактор на одном PHP-файле по адресу /webarchive-cms.php с паролем для каждого сайта, который показывается в дашборде, так что вы можете править контент без повторного развёртывания. Туториал проходит весь процесс целиком.

Что Wayback Back Machine не спасёт

Заранее настройте ожидания, прежде чем обещать кому-то полное восстановление. Часть контента просто не попала в архив.

• Страницы за логинами или пейволами, краулеры туда тоже не добираются.
• Разделы, заблокированные в robots.txt, что исторически не пускало краулеров.
• Контент, получаемый через формы и POST-запросы, например результаты внутреннего поиска.
• Большинство встраиваемых потоковых аудио и видео.
• Всё, что генерируется исключительно на клиенте через JavaScript, который краулер не выполнил.
• Саму базу данных. Вы получаете отрендеренный HTML, а не дамп MySQL.

Форум одного клиента восстановился прекрасно, каждая ветка с 2009 года на месте. Фотоприкрепления были за логином и исчезли. Знайте, в какую категорию попадает ваш контент, прежде чем считать файлы. Когда нужны сырые данные, Restorix может экспортировать структурированный экспорт статей в XML, CSV или JSON, плюс манифест в JSON или SQLite каждого восстановленного файла, удобно для аудита того, что уцелело.

Как держать восстановленный сайт онлайн

Восстановленный сайт, это статический HTML, поэтому хостинг дёшев и прост. Сохраните 301- и 302-редиректы, которые сохранило восстановление, выберите канонический хост, www или без www, и верните сайт на старый домен, если он всё ещё ваш. Старые входящие ссылки снова заработают, а это половина SEO-ценности восстановления.

Как бы вы ни написали название, с лишним «back», слова в неправильном порядке, выход один и тот же. Найдите снимок, сохраните то, что важно, и верните сайт на хостинг, который вы контролируете.