Исторический веб как исследовательский ресурс: что выдерживает проверку

Несколько лет назад одна компания закрыла неприятный спор о товарном знаке с помощью единственной улики: того, что было написано на её главной странице в 2003 году. Вторая сторона заявила, что скриншот подделан. Этот аргумент рухнул в тот момент, когда истец предъявил соответствующий снимок из Wayback Machine, с меткой времени обхода и нотариально заверенным показанием от Internet Archive. Дело закрыто. Так исторический веб выполняет свою работу.

Исследователи вытаскивают старые страницы для цитирования. Журналисты, чтобы ловить тихие удаления. Юристы, чтобы доказать, что именно было сказано в договоре, на витрине магазина или в публичном заявлении в конкретный день. Материал весь здесь, сотни миллиардов снимков в глубину, но использовать его грамотно, задача не из простых. В архивах есть пробелы, у снимков свои причуды, и не каждая метка времени означает то, что вы думаете.

Чем на самом деле является исторический веб

Исторический веб, это не запись интернета. Это огромная гора фотографий. Краулеры заходят на URL, сохраняют то, что отдаёт сервер, и идут дальше. Недели или месяцы спустя они возвращаются и делают это снова. То, что вы просматриваете на web.archive.org, и есть эта гора, отсортированная по URL и дате, начиная с 1996 года.

Wayback Machine от Internet Archive, крупнейший источник по объёму, но не единственный. Common Crawl публикует сырые данные обхода для массовых исследований. Archive.today делает снимки отдельных страниц по запросу. Perma.cc, поддерживаемый библиотекой Гарварда, создан для того, чтобы суды и журналы получали ссылки, которые не могут исчезнуть. Национальные библиотеки ведут собственные коллекции по правилам обязательного экземпляра, и некоторые из этих коллекций огромны.

Отсюда два следствия. Во-первых, покрытие неравномерно: у знаменитой главной страницы могут быть тысячи снимков, а у малоизвестной внутренней, всего три. Во-вторых, каждый снимок, это выборка, сделанная в момент обхода. Это не живая страница и не обязательно страница такой, как её видел человек.

Кто использует исторический веб и зачем

Четыре группы делают основную работу, и каждой нужно что-то своё от одной и той же горы снимков.

• Учёные. Библиометрические исследования вновь и вновь показывают, что удручающе большая доля ссылок в опубликованных работах умирает за несколько лет, у этого явления даже есть название: reference rot (гниение ссылок). Исследователи теперь архивируют источники перед цитированием, а многие изучают сам исторический веб как набор данных.
• Журналисты. Удалённые пресс-релизы, тихо отредактированные заявления, исчезнувшие после отзыва характеристики товаров. Журналисты редакционных отделов проверяют архив так же, как проверяют публичные документы.
• Юристы и паралигалы. Первый коммерческий контакт с товарным знаком, клевета, старые условия обслуживания, что обещала страница продукта до травмы. Архивные страницы постоянно всплывают в спорах.
• Владельцы сайтов и SEO-специалисты. Восстановление мёртвого сайта, проверка домена перед покупкой, изучение воронки конкурента три редизайна назад.

Как оценить качество сохранности, прежде чем доверять снимку

Не все снимки равноценны. Снимок новостной статьи 2015 года может быть полноценной страницей с фотографиями. Снимок того же URL 2018 года может оказаться голым HTML-скелетом, потому что сайт переехал на JavaScript-фреймворк, который рендерит контент на стороне клиента, и краулер сохранил оболочку, но не данные. Откройте снимок и посмотрите на него, прежде чем цитировать. Каждый раз.

1. Загружаются ли изображения? Отсутствующие фото означают, что краулер получил HTML, но не ассеты, или ассеты были заблокированы.
2. Есть ли у страницы стили? Отсутствие стилей означает потерянный CSS, что обычно говорит о частичном снимке.
3. Ведут ли внутренние ссылки на другие архивные страницы? Кликните на пару штук. Тупики говорят о том, что обход был поверхностным.
4. Посмотрите календарь вокруг вашей даты. Редкие снимки в годах, близких к вашему, повышают вероятность скудного снимка.
5. Ищите встроенный сторонний контент, твиты, видео, iframe, карты. Это отдельные URL с отдельными снимками, и они пропадают первыми.

Ещё один нюанс: временна́я согласованность. Архив собирает страницу из ближайших снимков каждого файла, и эти файлы могут быть с разницей в дни или недели. HTML может быть от 4 марта, а изображение-заставка, от 19 февраля. Для большинства исследований это нормально. Для доказательств отмечайте метки времени каждого файла, когда это важно, их можно увидеть в URL каждого загруженного ресурса.

Исторический веб как юридическое доказательство

Суды в США и других странах годами принимают архивные снимки, и процедура отработана. Обычный путь, это аутентификация: Internet Archive за отдельную плату предоставляет нотариально заверенный аффидевит, подтверждающий подлинность конкретных снимков; это стандартная практика, которую признают судьи. В качестве альтернативы свидетель, обладающий личным знанием о странице, может подтвердить подлинность распечатки.

• Товарные знаки и торговый образ: доказательство первого коммерческого использования или того, что знак существовал в определённой форме.
• Клевета: что именно было сказано, когда опубликовано и когда удалено.
• Споры по договорам: какая версия условий обслуживания была размещена в день регистрации пользователя.
• Авторское право: даты предыдущих публикаций и состояние страницы в конкретный момент.

Архив показывает то, что получил краулер, а не обязательно то, что видел клиент. Геотаргетированные цены, A/B-тесты и персонализированные страницы в основном невидимы для него, стоит помнить об этом, прежде чем кто-либо подпишет аффидевит.

Относитесь к чужим снимкам с тем же скепсисом, который хотели бы видеть по отношению к своим. Если весь спор держится на одном снимке, подкрепите его: второй архив, синхронные скриншоты, логи сервера, письма. Судьи ценят совпадающие доказательства, и вам тоже стоит.

Распространённые ловушки при цитировании архивных страниц

1. Ссылка на снимок без предварительного открытия. В половине случаев нужная вам половина, это та, которой не хватает.
2. Путаница между датой снимка и датой содержимого. Метка времени показывает, когда краулер зашёл, а не когда был написан текст.
3. Переход по снимку редиректа без внимания. Статус редиректа означает, что краулер был перенаправлен; нужный вам контент может жить по другому URL.
4. Цитирование только одного архива. Сохраните рядом ссылку perma.cc или PDF-распечатку, снимки могут быть удалены по запросу.
5. Убеждение, что весь сайт был снят. Снимок главной страницы доказывает только то, что главная страница существовала. Не более.

Удаления, robots.txt и другие способы исчезновения страниц

Wayback Machine выполняет запросы на исключение и удаление. Владелец сайта может попросить Internet Archive прекратить архивирование домена, и исторические снимки могут стать недоступны. Robots.txt годами полностью блокировал краулеры, так что у сайта со строгим файлом robots.txt может быть дыра именно там, где должна быть его история.

Практическое следствие: если снимок для вас важен, сделайте собственную копию в тот же день, когда найдёте его. Скриншот всей страницы, сохранённый PDF, точная запись URL снимка и метки времени. Архивы надёжны, но не вечны, и споры любят приводить к исчезновению нужных страниц в худший момент.

От исторического веба, обратно к рабочему сайту

Иногда исследование заканчивается решением: вам нужен сайт обратно. Ваш собственный старый сайт, клиентский, домен, который вы только что купили с десятилетием контента впридачу. Копировать страницы из архива вручную работает для пяти страниц. Для пяти тысяч, уже нет.

Именно этот пробел закрывает Restorix. Он скачивает архивную копию сайта файл за файлом, HTML, изображения, таблицы стилей, PDF, и собирает его заново как рабочий веб-сайт. Бесплатная оценка показывает точное число архивных файлов, общий размер и зафиксированную цену до оплаты, а платите вы за каждый восстановленный файл, причём первый файл бесплатно.

Для исследователей два варианта восстановления будут тихо полезны, даже если сайт так и не вернётся в онлайн: структурированный экспорт статей (XML, CSV или JSON) и полный манифест файлов в JSON или SQLite. Наведите инструмент на архив мёртвого издания, и вы получите набор данных вместо папки с HTML. В руководстве весь процесс разобран по шагам.