Восстановление сайта из Archive.org: своими руками или заказать?

Есть два способа вернуть утраченный сайт из Archive.org. Можно потратить выходные, возясь с wget и правкой ссылок вручную, или заплатить за файл и получить очищенный сайт, развёрнутый на вашем хостинге, пока вы занимаетесь другими делами. Оба подхода работают. И у каждого найдутся сторонники, уверяющие, что другой, пустая трата времени.

Я пробовал оба, начиная с десятистраничного портфолио и заканчивая форумом на phpBB 2009 года с 4 000 вложений. Вот честный разбор: сколько стоит каждый путь, где он ломается и как выбрать, не считая своё время бесплатным.

Что на самом деле можно восстановить из Archive.org

Сначала определимся с ожиданиями, потому что архив, это не резервная копия. Wayback Machine сохраняет то, что смог увидеть его краулер: HTML-страницы, а также изображения, CSS и JavaScript, если они были публичными и доступными для обхода. Этого часто достаточно, возвращается практически весь видимый сайт.

Чего в архиве нет: всего, что скрыто за логином, обработчиков форм, серверных скриптов, баз данных, поисковых индексов и, как правило, того, что рендерилось на стороне клиента в современных сайтах. Восстановленный WordPress будет статическими страницами, а не WordPress. Восстановленный интернет-магазин, без работающей корзины. Это ограничение одинаково для любого способа: и при самостоятельном восстановлении, и при заказе услуги вы получаете те же файлы, только быстрее и чище.

Ещё один важный момент: наличие в архиве, не гарантия. Краулер мог сохранить HTML страницы, но пропустить главное изображение, или зафиксировать редирект вместо самой страницы. На сайтах, которые были публичными и имели ссылки, глубина архива часто удивляет, всплывают разделы, о которых вы уже забыли. Но на ресурсах, закрытых от индексации или защищённых агрессивными ботами, пробелов будет больше.

Самостоятельное восстановление: пошаговый разбор

Инструментарий для самостоятельной работы бесплатен и вполне работоспособен. Для небольшого, преимущественно статического сайта это может быть интересным проектом на выходные:

1. Найдите свои снимки: используйте календарь Wayback Machine или CDX API, чтобы получить список всех сохранённых URL домена.
2. Массовая загрузка: запустите утилиту вроде wayback-machine-downloader или wget с флагами зеркалирования для выбранного диапазона дат. В нашем руководстве как скачать сайт из Archive.org приведены готовые команды.
3. Очистка разметки: удалите внедрённый архивом код панели инструментов и перепишите ссылки с префиксом web.archive.org на относительные.
4. Поиск недостающих файлов: изображения и скрипты, пропущенные краулером, придётся искать в других источниках или воссоздавать.
5. Протестируйте локально, затем загрузите на хостинг и исправьте то, что сломалось при переносе, обычно это абсолютные URL и предупреждения о смешанном контенте HTTPS.

Закладывайте 10–15 минут на страницу с учётом всей ручной работы, при хороших инструментах, меньше. Сайт из 30 страниц, это один вечер. Сайт из 300 страниц, месяц вечеров.

Где самостоятельное восстановление идёт не так

Скачивание, самая простая часть. Настоящая битва, очистка.

• Хирургия ссылок: каждый href и src указывает на web.archive.org. Переписывание кажется тривиальным, пока не встречаешь строки запросов, закодированные URL и ссылки, зашитые в JavaScript.
• Пропавшие изображения: охват изображений краулером неравномерен, особенно после 2015 года. Обнаруживаешь каждую сломанную миниатюру по одной.
• Тихие пробелы: страницы, о которых вы забыли, старые посадочные, архивы тегов, остаются мёртвыми, если вы заранее не перечислили все URL.
• Проблемы с кодировкой: старые сайты в Latin-1 возвращаются с кракозябрами, когда инструменты предполагают UTF-8.
• Ловушка 80%: первые 80% сайта отнимают 20% времени. Последние 20%, странные шаблоны, фреймы, страницы эпохи Flash, съедают всё остальное. Я видел, как владелец магазина на WooCommerce, который оценивался как «быстрая работа», потратил шесть недель вечеров, и пагинация категорий так и не заработала нормально.

Обратите внимание, чего в этом списке нет: самого скачивания. Получение файлов, решённая задача. Каждая история провала самостоятельного восстановления, которую я слышал, а их немало, начинается с недооценки очистки, а не загрузки.

Восстановление сайта из Archive.org под ключ

Сервисы восстановления «под ключ» существуют потому, что очистку можно автоматизировать, и именно она является продуктом, а не скачивание. Restorix выполняет восстановление за вас: вы выбираете домен и диапазон дат, а сервис извлекает архивные файлы, переписывает ссылки, удаляет то, что вы укажете, и разворачивает результат.

Важные детали: оценка бесплатна и показывает точное количество архивных файлов, общий размер и фиксированную цену до оплаты, вы платите за восстановленный файл плюс небольшую фиксированную плату, первый файл бесплатно. Опции восстановления покрывают рутинные задачи: удаление аналитики, рекламы, iframe и внешних ссылок; минификация JS и CSS; преобразование внутренних ссылок в относительные; приведение к www или без www; сохранение редиректов 301 и 302; перевод всего на HTTPS.

Развёртывание, в один клик на серверы по SSH или SFTP, на общий хостинг по FTP или FTPS, либо в S3. Встроенная мини-CMS в одном файле webarchive-cms.php позволяет редактировать восстановленный сайт: правка контента, поиск и замена, файловый менеджер, с паролем администратора для каждого сайта и безопасным режимом по умолчанию. Если восстановление или развёртывание не удастся, деньги автоматически возвращаются на баланс. Пополнения разовые, без подписки, о которой можно забыть.

Самостоятельно или под ключ: честное сравнение

Две строки заслуживают внимания. Время, не линейно: при самостоятельной работе затраты на страницу растут с возрастом и сложностью сайта. А риск, то, что часто игнорируют: неудачное самостоятельное восстановление стоит вам часов, неудачное восстановление сервисом, ничего.

Как выбрать подходящий путь

Забудьте об идеологии. Решение, это арифметика плюс один честный вопрос к себе.

• Меньше 30 страниц, статика, и вам нравится возиться: делайте сами. Это приятный проект и действительно бесплатно.
• Больше 100 страниц или сайт с большим количеством файлов: под ключ. Математика времени на страницу быстро перестаёт работать в пользу самостоятельного подхода.
• Клиентская работа или любые сроки: под ключ. Фиксированная цена и автоматическая работа надёжнее оптимистичных оценок собственных вечеров.
• Ваша почасовая ставка, умноженная на часы самостоятельной работы, превышает фиксированную оценку: под ключ. Посчитайте реальные цифры, люди систематически недооценивают своё время.
• Хотите понять, как работает архив: сначала восстановите небольшой сайт сами. Знания останутся, и в будущем вы будете осмысленнее пользоваться сервисами.

Гибридный подход недооценён: скачайте небольшой сайт сами, чтобы понять процесс, а когда сайт действительно важен, заплатите за восстановление. И даже убеждённым самодельщикам стоит запросить бесплатную оценку: зная реальное количество архивных файлов, вы заранее поймёте, займёт ваш план два часа или двадцать.

Первые шаги для восстановления сайта из Archive.org, независимо от выбранного пути

1. Проверьте охват: найдите диапазон дат, когда сайт выглядел полным и ключевые страницы имеют снимки.
2. Выберите целевую дату: лучший по виду период, не обязательно самый последний.
3. Оцените реальный масштаб: запросите бесплатную оценку, чтобы узнать точное количество архивных файлов и общий размер.
4. Выберите путь, используя приведённую выше схему.
5. Подготовьте хостинг: подойдёт любой общий хостинг или VPS; развёртывание под ключ поддерживает SSH, SFTP, FTP и S3 напрямую.
6. После восстановления пройдите по каждому типу страниц и исправьте неработающие формы, прежде чем считать работу завершённой. В руководстве описан полный процесс.