Historyczny internet jako źródło badawcze: co się sprawdza

Kilka lat temu firma ugodowo zakończyła brudny spór o znak towarowy za pomocą jednego dowodu: treści swojej strony głównej z 2003 roku. Druga strona sugerowała, że zrzut ekranu został sfabrykowany. Ten argument upadł w momencie, gdy powód przedstawił pasujący zrzut z Wayback Machine, kompletny z datą skanowania i poświadczonym oświadczeniem pod przysięgą z Internet Archive. Sprawa zamknięta. Tak właśnie historyczny internet spełnia swoją rolę.

Badacze sięgają po stare strony w poszukiwaniu cytowań. Dziennikarze, by wychwycić ciche usunięcia. Prawnicy, by udowodnić, co mówił danego dnia konkretny kontrakt, sklep internetowy czy publiczne oświadczenie. Materiał tam jest, głęboki na setki miliardów zrzutów, ale jego dobre wykorzystanie wymaga pewnej staranności. Archiwa mają luki, zrzuty mają swoje dziwactwa, a nie każdy znacznik czasu oznacza to, co mogłoby się wydawać.

Czym właściwie jest historyczny internet

Historyczny internet to nie nagranie sieci. To ogromny stos zdjęć. Crawlery odwiedzają adres URL, zapisują to, co serwer im przekaże, i przechodzą dalej. Tygodnie lub miesiące później wracają i robią to ponownie. To, co przeglądasz na web.archive.org, to właśnie ten stos, uporządkowany według adresu URL i daty, sięgający aż do 1996 roku.

Wayback Machine prowadzony przez Internet Archive jest zdecydowanie największym źródłem, ale nie jedynym. Common Crawl publikuje surowe dane ze skanowania do masowych badań. Archive.today robi na żądanie zrzuty pojedynczych stron. Perma.cc, prowadzony przez bibliotekę Harvardu, istnieje po to, by sądy i czasopisma otrzymywały cytowania, które nie mogą zniknąć. Biblioteki narodowe prowadzą własne zbiory w ramach przepisów o egzemplarzu obowiązkowym, a niektóre z tych zbiorów są naprawdę ogromne.

Wynikają z tego dwa wnioski. Po pierwsze, pokrycie jest nierówne: słynna strona główna może mieć tysiące zrzutów, podczas gdy mało znana strona wewnętrzna ma trzy. Po drugie, każdy zrzut jest próbką pobraną w momencie skanowania. To nie jest działająca strona i niekoniecznie strona, którą widział jakikolwiek ludzki odwiedzający.

Kto korzysta z historycznego internetu i dlaczego

Większość ciężkiej pracy wykonują cztery grupy, z których każda chce czegoś nieco innego z tego samego stosu zrzutów.

• Naukowcy. Badania cytowań wciąż pokazują, że przygnębiająca część linków w opublikowanych pracach umiera w ciągu kilku lat, zjawisko ma nawet swoją własną nazwę: reference rot (gnicie odnośników). Naukowcy archiwizują dziś źródła przed ich zacytowaniem, a wielu bada sam historyczny internet jako zbiór danych.
• Dziennikarze. Usunięte komunikaty prasowe, cicho edytowane oświadczenia, twierdzenia produktowe, które znikają po wycofaniu. Reporterzy działowi sprawdzają archiwa tak, jak sprawdzają publiczne rejestry.
• Prawnicy i asystenci prawni. Pierwsze użycie znaku towarowego, zniesławienie, dawne warunki korzystania z usługi, to, co obiecywała strona produktu przed wypadkiem. Zarchiwizowane strony nieustannie przewijają się w sporach.
• Właściciele stron i specjaliści SEO. Odtwarzanie martwej witryny, audyt domeny przed zakupem, sprawdzanie jak wyglądał lejek sprzedażowy konkurencji trzy redesigny temu.

Ocena jakości archiwizacji, zanim zaufasz zrzutowi

Nie wszystkie zrzuty są równe. Zrzut artykułu prasowego z 2015 roku może zawierać pełną stronę ze zdjęciami. Zrzut tego samego adresu URL z 2018 roku może być gołym szkieletem HTML, ponieważ witryna przeszła na framework JavaScript, który renderuje treść po stronie klienta, a crawler zapisał powłokę, ale nie dane. Otwórz zrzut i obejrzyj go, zanim go zacytujesz. Za każdym razem.

1. Czy obrazy się ładują? Brakujące zdjęcia oznaczają, że crawler pobrał HTML, ale nie zasoby, albo zasoby zostały zablokowane.
2. Czy strona jest ostylowana? Niestylowana strona oznacza brak CSS, co zwykle oznacza, że zrzut jest częściowy.
3. Czy linki wewnętrzne prowadzą do innych zarchiwizowanych stron? Kliknij dwa lub trzy. Ślepe zaułki sygnalizują, że skanowanie było płytkie.
4. Sprawdź kalendarz wokół twojej daty. Rzadkie lata zrzutów w pobliżu twojego zrzutu zwiększają prawdopodobieństwo, że jest on niepełny.
5. Szukaj osadzonych treści zewnętrznych, tweetów, filmów, ramek iframe, map. To osobne adresy URL z osobnymi zrzutami i to one znikają w pierwszej kolejności.

Jeszcze jedna subtelność: spójność czasowa. Archiwum składa stronę z najbliższego zrzutu każdego pliku, a te pliki mogą być od siebie oddalone o dni lub tygodnie. HTML może pochodzić z 4 marca, a grafika główna z 19 lutego. W większości badań to nie przeszkadza. W przypadku dowodów zanotuj znaczniki czasu poszczególnych plików, gdy mają znaczenie, możesz je odczytać w adresie URL każdego ładowanego zasobu.

Historyczny internet jako dowód prawny

Sądy w USA i gdzie indziej od lat akceptują zarchiwizowane zrzuty, a procedura jest dobrze utarta. Zwykła droga to uwierzytelnienie: Internet Archive dostarcza, za opłatą, oświadczenie pod przysięgą uwierzytelniające konkretne zrzuty, co jest standardową praktyką rozpoznawaną przez sędziów. Alternatywnie, świadek posiadający osobistą wiedzę o stronie może uwierzytelnić jej wydruk.

• Znaki towarowe i wizerunek handlowy (trade dress): udowodnienie pierwszego użycia w obrocie handlowym lub tego, że znak pojawił się w określonej formie.
• Zniesławienie: co mówiło dane oświadczenie, kiedy zostało opublikowane i kiedy zostało usunięte.
• Spory kontraktowe: która wersja regulaminu była opublikowana w dniu rejestracji użytkownika.
• Prawo autorskie: daty wcześniejszej publikacji i stan strony w danym momencie.

Archiwum pokazuje to, co otrzymał crawler, niekoniecznie to, co widział klient. Ceny zależne od lokalizacji, testy A/B i spersonalizowane strony są dla niego w większości niewidoczne, warto o tym pamiętać, zanim ktokolwiek złoży oświadczenie pod przysięgą.

Traktuj zrzuty przeciwnika z takim samym sceptycyzmem, jaki chciałbyś, by stosowano wobec twoich. Jeśli jeden zrzut stanowi całą sprawę, potwierdź go: drugie archiwum, współczesne zrzuty ekranu, logi serwera, e-maile. Sędziowie cenią zbieżność dowodów, i ty też powinieneś.

Typowe pułapki przy cytowaniu zarchiwizowanych stron

1. Linkowanie do zrzutu bez wcześniejszego otwarcia go. W połowie przypadków ta część, której potrzebujesz, jest tą, której brakuje.
2. Mylenie daty zrzutu z datą treści. Znacznik czasu mówi, kiedy crawler odwiedził stronę, nie kiedy tekst został napisany.
3. Podążanie za zrzutem przekierowania bez zauważenia tego. Status przekierowania oznacza, że crawler został wysłany gdzie indziej; treść, której szukasz, może znajdować się pod innym adresem URL.
4. Cytowanie tylko jednego archiwum. Zapisz obok link perma.cc lub wydruk PDF, zrzuty mogą zostać usunięte na żądanie.
5. Zakładanie, że cała witryna została zarchiwizowana. Zrzut strony głównej dowodzi jedynie, że strona główna istniała. Nic więcej.

Usunięcia, robots.txt i inne sposoby znikania stron

Wayback Machine respektuje prośby o wykluczenie i usunięcie. Właściciel witryny może poprosić Internet Archive o zaprzestanie archiwizowania domeny, a historyczne zrzuty mogą stać się niedostępne. Blokady w robots.txt przez lata całkowicie trzymały crawlery na zewnątrz, więc witryna z restrykcyjnym plikiem robots.txt może mieć dziurę dokładnie tam, gdzie powinna znajdować się jej historia.

Praktyczna konsekwencja: jeśli jakiś zrzut jest dla ciebie ważny, zrób jego własną kopię tego samego dnia, w którym go znajdziesz. Zrób zrzut ekranu całej strony, zapisz PDF, zanotuj dokładny adres URL zrzutu i znacznik czasu. Archiwa są trwałe, ale nie nieśmiertelne, a spory mają zwyczaj powodowania znikania konkretnych stron w najmniej odpowiednim momencie.

Z historycznego internetu z powrotem do działającej witryny

Czasem badania kończą się decyzją: chcesz odzyskać witrynę. Swoją starą witrynę, witrynę klienta, domenę, którą właśnie kupiłeś razem z dekadą treści. Kopiowanie i wklejanie stron z archiwum działa dla pięciu stron. Nie działa dla pięciu tysięcy.

Tę lukę wypełnia narzędzie do odtwarzania stron. Pobiera zarchiwizowaną kopię witryny plik po pliku, HTML, obrazy, arkusze stylów, PDF-y, i odbudowuje ją jako działającą stronę internetową. Bezpłatna wycena pokazuje dokładną liczbę zarchiwizowanych plików, całkowity rozmiar i stałą cenę, zanim cokolwiek zapłacisz, a płatność następuje za każdy odtworzony plik, przy czym pierwszy plik jest bezpłatny.

Dla badaczy dwie opcje odtwarzania są zaskakująco przydatne, nawet jeśli witryna nigdy nie wróci do sieci: ustrukturyzowany eksport artykułów (XML, CSV lub JSON) oraz pełny manifest plików w formacie JSON lub SQLite. Skieruj narzędzie na archiwum martwej publikacji, a zamiast folderu z plikami HTML otrzymasz gotowy zbiór danych. Tutorial przeprowadza przez cały proces krok po kroku.