Archive Wayback: как спасти сайт, пока он не исчез

Звонок обычно звучит так: хостер выключил сервер, агентство, которое делало сайт, закрылось два года назад, а единственная резервная копия, это ZIP-архив на ноутбуке, который никто не может найти. Я слышал разные версии этой истории больше раз, чем могу сосчитать. Почти каждый из этих сайтов можно было спасти привычками, которые ничего не стоят и отнимают час в месяц.

Подход archive wayback прост: относитесь к Wayback Machine как ко второй линии обороны, которую вы сами и пополняете, держите собственные настоящие бэкапы как первую линию и заранее знаете, как будете восстанавливаться, если обе когда-нибудь понадобятся. Вот регламент, в том порядке, в котором я бы его выстраивал.

Что сохраняет архив Wayback, и что он никогда не сохранит

Краулер сохраняет то, что браузер может получить без авторизации: HTML-страницы, изображения, таблицы стилей, скрипты, PDF и другие публичные файлы. Для типичного сайта-визитки или блога это почти всё, что имеет значение.

Список того, что он никогда не сохранит, длиннее, чем принято думать.

• Всё, что скрыто за логином: клиентские кабинеты, админ-панели, закрытые форумы.
• Базы данных и логику, которая с ними работает. Архив хранит отрендеренную страницу, а не строки, которые её сформировали.
• Обработчики форм, корзины и процессы оформления заказа. HTML-код формы вы, может, и получите, а вот отправленные данные, никогда.
• Контент, который появляется только после выполнения JavaScript, в случаях, когда краулер сохранил оболочку, не запустив скрипты.
• Страницы, которые вы заблокировали. Директива disallow в robots.txt запрещает краулерам заходить, всем краулерам, включая архивирующего.
• Потоковое медиа и очень большие загрузки, частично или никак, в зависимости от того, как они встроены.

Ничто из этого не делает архив бесполезным. Это значит, что вы архивируете с открытыми глазами: публичное лицо вашего сайта восстановимо, а вот механизмы за ним, это по-прежнему ваша собственная задача по бэкапам.

Save Page Now: архивация по запросу

Ждать краулера необязательно. Инструмент Save Page Now от Internet Archive по адресу web.archive.org/save бесплатно захватывает любой публичный URL по запросу. Вставляете ссылку, ждёте несколько секунд, и захват появляется в публичном архиве со свежей отметкой времени.

Бесплатный аккаунт открывает действительно полезные возможности: сохранение страницы вместе с исходящими ссылками на глубину одного уровня, снятие скриншотов и ведение личного списка сохранений. Есть браузерное расширение для сохранения в один клик, а для массовых задач, SPN2 API: с API-ключом можно ставить в очередь сотни URL из скрипта или даже из таблицы.

1. Сохраняйте после каждого значимого изменения: новая посадочная страница, обновлённый прайс, новые условия, важная статья в блоге.
2. Сохраняйте перед каждой рискованной операцией: редизайн, миграция, обновление CMS, смена домена.
3. Всегда проверяйте. Откройте свежий захват и убедитесь, что изображения и стили действительно попали. Сохранение, которое поймало сломанную страницу, просто законсервирует эту поломку.
4. Не забывайте и о «непарадных» URL: /about, /contact, /terms, ключевые страницы категорий. Главную всё равно проиндексируют, а вот глубокие страницы как раз и пропадают.

Дружелюбие к архивированию: сделайте сайт удобным для захвата

Большинство сайтов непреднамеренно враждебны к архивации. Несколько дешёвых исправлений это меняют.

• Не блокируйте архивирующих краулеров в robots.txt и не закрывайте папки с ассетами (/wp-content/uploads, /static, /assets). Заблокированные изображения и CSS, причина, по которой старые захваты выглядят «голыми».
• Важный контент рендерите на сервере. Если ваш текст существует только после выполнения JavaScript, многие краулеры сохранят пустую оболочку.
• Поддерживайте чистый sitemap.xml. Краулеры используют его, чтобы находить глубокие страницы, до которых они никогда бы не добрались по ссылкам.
• Сохраняйте URL стабильными. Каждое ненужное изменение URL обрывает историю архива, привязанную к старому адресу.
• Избегайте ловушек для краулера: бесконечные календари, фасетный поиск, генерирующий миллионы URL. Краулеры тратят бюджет на мусор и пропускают ваши реальные страницы.

Если вы используете Cloudflare или другой фильтр ботов, проверьте, что архивирующие краулеры не получают вызов проверки. Правило, блокирующее всех ботов, блокирует и сохранение вашей же истории.

Проактивный регламент архивации для собственного сайта

Раз в месяц, пятнадцать минут:

1. Возьмите топ-20–30 URL, из sitemap или из аналитики, и прогоните их через Save Page Now. С API это задача в одну команду.
2. Сохраняйте любую страницу, которая изменилась за прошлый месяц.
3. Выборочно проверьте прошлые сохранения: откройте пару-тройку захватов и убедитесь, что они действительно рендерятся.

Раз в квартал добавьте ещё два шага: проверьте, что ваш robots.txt по-прежнему разрешает архивацию, и убедитесь, что ваши настоящие бэкапы действительно восстанавливаются, бэкап, который ни разу не тестировали, это слух. Перед любым редизайном или миграцией платформы проведите полное сохранение по всему sitemap, а не только по топовым страницам. Именно на миграциях история сайта обычно и умирает.

Ещё одна дешёвая привычка: храните plain-text-карту URL вашего сайта где-нибудь вне сервера, подойдёт сам sitemap. Если когда-нибудь понадобится массовое восстановление, этот список на вес золота, потому что инструменты восстановления могут работать прямо по нему.

Почему архив, это не бэкап

Скажем прямо: Wayback Machine, это музей, а не сейфовая ячейка. Вы не можете нажать кнопку и получить свой сайт обратно из него. Вы можете просматривать страницы по одной, но экспорта всего сайта нет, гарантии, что каждая страница или изображение были захвачены, нет, и никаких SLA тоже нет. Владельцы сайтов могут также запросить удаление.

Поэтому держите настоящие бэкапы: снапшоты на хостинге, git-репозиторий с кодом, периодические дампы базы данных и копии вне сервера, старое правило гласит, что ваш бэкап не существует, пока он не лежит в двух местах, причём одно из них, за пределами основного сервера. У архива другая роль: это независимая, снабжённая метками времени публичная запись того, что ваш сайт говорил и показывал. У неё есть реальная ценность, для споров, для подотчётности, для доказательства, что страница существовала, но она дополняет бэкапы. Никогда их не заменяет.

Чек-лист archive wayback перед редизайном или миграцией

1. Прогоните Save Page Now по всему sitemap, для ключевых страниц, вместе с исходящими ссылками.
2. Сделайте свежий полный бэкап, файлы плюс база данных, и храните его вне сервера.
3. Выгрузите список URL текущего сайта, чтобы составить карту редиректов.
4. Подготовьте 301-редиректы с каждого старого URL на его новый аналог, прежде чем переключать.
5. После запуска сохраните новые ключевые страницы, чтобы временная линия архива продолжалась без дыр.

Если вы переезжаете на новый домен, держите старый живым, даже год редиректов сохранит и поисковый вес, и непрерывность архива. Если дать ему истечь, вашу историю получит домен-парковщик, а на паркованных доменах хорошие URL обречены быть забытыми.

Если профилактика не сработала: восстановление из архива

Иногда вы получаете чужие проблемы в наследство: мёртвый сайт, никаких бэкапов и архив как единственный оставшийся источник. Восстановить удаётся чаще, чем принято думать. Сервис восстановления сайтов скачивает все архивные файлы сайта, страницы, изображения, стили, документы, и собирает из них рабочий сайт, с возможностью выбрать диапазон дат, чтобы попасть в эпоху до того, как всё пошло не так.

Условия щадящие для тех, кому уже не до выбора: оценка бесплатна и показывает точное количество файлов, общий размер и зафиксированную цену ещё до оплаты; вы платите за каждый восстановленный файл, первый файл бесплатно; а если восстановление или деплой не удаётся, возврат на баланс происходит автоматически, без обращения в поддержку. Деплой, одним кликом в SSH/SFTP, FTP или S3, и в каждый деплой входит компактная CMS из одного файла, так что восстановленный сайт остаётся редактируемым, а не превращается в застывшую статую.

Пройдите этот путь один раз на небольшом сайте, руководство займёт минут десять, и вы будете точно знать, что делать в тот день, когда раздастся тот самый звонок.