Wayback Machine: Kompletny przewodnik po przeglądaniu historii sieci

Wayback Machine ratowało mnie więcej razy, niż jestem w stanie policzyć. Sklep WooCommerce klienta wymazany przez nieudaną aktualizację wtyczki. Strona z cennikiem konkurencji z 2019 roku, potrzebna w sporze umownym. Oryginalna wersja artykułu, który ktoś po cichu przeredagował po tym, jak został zacytowany w pozwie. To pamięć internetu, a korzystanie z niej nic nie kosztuje. A jednak większość ludzi dotyka tylko pola wyszukiwania na stronie głównej i przegapia wszystko inne. Ten przewodnik obejmuje to, jak archiwum faktycznie działa, każdą wartą poznania sztuczkę wyszukiwania, gdzie się nie sprawdza oraz co zrobić, gdy przeglądanie migatek to za mało i potrzebujesz przywrócić samą stronę.

Czym tak naprawdę jest Wayback Machine

Wayback Machine to bezpłatne publiczne archiwum stron internetowych, prowadzone przez Internet Archive, czyli niedochodową bibliotekę cyfrową z siedzibą w San Francisco. Brewster Kahle założył organizację w 1996 roku, a Wayback Machine zostało udostępnione publicznie w 2001 roku. Nazwa nawiązuje do maszyny WABAC, wehikułu czasu z kreskówki z lat 60. Peabody's Improbable History, stąd też wiele osób błędnie kojarzy ją jako „maszynę cofania".

Kolekcja przekroczyła 900 miliardów zarchiwizowanych stron internetowych i rośnie o ponad miliard stron tygodniowo. Oprócz stron internetowych, Internet Archive przechowuje zdigitalizowane książki, wiadomości telewizyjne, nagrania audio oraz dawne oprogramowanie, które można uruchomić w przeglądarce. Przeglądanie nic nie kosztuje i nie wymaga konta.

Jedno rozróżnienie jest kluczowe: Wayback Machine archiwizuje strony, a nie całe witryny. Każda migawka to pojedynczy URL uchwycony w jednym momencie. Nie istnieje obiekt „cała strona, marzec 2015" leżący na półce, tylko tysiące pojedynczych zapisów stron, które przypadkowo należą do tej samej domeny. Miej to na uwadze, bo wyjaśnia to prawie każdą osobliwość, z którą się spotkasz.

Jak działają crawlery i migawki

Archiwum jest budowane przez crawleery. W pierwszych latach Internet Archive polegało na danych z crawlerów od Alexa Internet, firmy analityki internetowej, którą współzałożył Kahle; obecnie prowadzi własną operację crawlerową, plus crawlery partnerskie oraz miliony ręcznych zapisów od użytkowników. Crawler żąda URL, zapisuje otrzymany HTML, a następnie pobiera zasoby, do których ten HTML się odwołuje, obrazy, arkusze stylów, skrypty, każdy przechowywany jako osobny plik.

Ten ostatni szczegół wyjaśnia najczęstsze nieporozumienie. Migawka nie jest folderem zamrożonym w czasie. HTML strony może pochodzić z 3 marca, podczas gdy arkusz stylów z 9 marca, a główny obraz z 20 lutego. Gdy wszystko się zgadza, strona wyświetla się poprawnie. Gdy nie, otrzymujesz klasyczną zepsutą migawkę: tekst nienaruszony, układ zrujnowany, szare pola tam, gdzie powinny być zdjęcia.

Jak często strona jest przeszukiwana

Nie ma harmonogramu, na który można liczyć. Częstotliwość crawlerów zależy od popularności: strona główna głównej gazety jest przechwytywana tysiące razy dziennie, podczas gdy forum phpBB z 2009 roku może pojawić się dwukrotnie w ciągu dekady. Jeśli strona jest dla ciebie ważna, nie czekaj, aż crawler się nią zainteresuje, zapisz ją sam, o czym piszemy w kolejnych sekcjach.

Co może blokować crawler

Crawler respektuje robots.txt, a wykluczenie może działać wstecznie: witryna, która nałoży ogólne zapytanie o blokadę na swoją domenę, może zdjąć z sieci całą historię zapisów do momentu usunięcia blokady. Właściciele witryn mogą również bezpośrednio poprosić Internet Archive o wykluczenie ich treści. Strony za logowaniem i paywallem nigdy nie są przeszukiwane.

Czytanie kalendarza i osi czasu

Po wyszukaniu URL lądujesz w widoku kalendarza. Dwa elementy wykonują całą pracę. Wykres słupkowy u góry pokazuje zapisy w poszczególnych latach, szybki sposób, aby zobaczyć, kiedy strona żyła, kiedy była aktywna i kiedy zgasła. Kalendarz poniżej zaznacza każdy zarchiwizowany dzień wybranego roku.

• Niebieskie kółko: normalny zapis, który zwrócił odpowiedź 200 OK.
• Zielone kółko: zapis był przekierowaniem. Crawler podążył za nim, więc sprawdź, gdzie wylądował.
• Czerwona kropka: błędna odpowiedź, zwykle 404 lub 500. Rzadko warto to otwierać.
• Większe kółko: więcej zapisów tego dnia. Najedź na dzień, aby zobaczyć dokładne godziny, kliknij znacznik czasu, aby go otworzyć.

Po otwarciu migawki na górze strony pojawia się baner. Zawiera dokładny znacznik czasu UTC, strzałki do poprzedniego i następnego zapisu oraz panel „Informacje o tym zapisie" z metadanymi crawlera. Gdy szukasz konkretnej zmiany, powiedzmy, kiedy firma usunęła klauzulę zwrotu, nie klikaj losowych dni. Szukaj skupisk i luk, a następnie wyznacz ramy zmiany między ostatnim zapisem, który ją zawiera, a pierwszym, który jej nie zawiera.

Składnia wyszukiwania Wayback Machine, którą warto zapamiętać

Pole wyszukiwania na stronie głównej to najwolniejsza droga. Sam URL jest prawdziwym interfejsem, a kilka wzorców pokrywa prawie wszystko, czego kiedykolwiek będziesz potrzebować.

Dwa z nich zasługują na szczególną uwagę. Lista URL-ów dla całej domeny to najszybszy sposób na znalezienie strony, której adres częściowo pamiętasz, wpisz fragment ścieżki w polu filtra, a archiwum zawęzi tysiące ścieżek do jedynego wpisu, którego potrzebujesz. A modyfikator id_ to to, czego profesjonaliści używają, gdy potrzebują samego pliku, a nie ramki z podglądem, ponieważ zwraca oryginalne bajty bez banera i bez przepisywania choćby jednego linku.

Zapisz stronę teraz i kiedy odmawia

Archiwum to nie tylko czytelnia. Zapisz stronę teraz zapisuje do niego: wklej dowolny publiczny URL do web.archive.org/save, a crawler pobierze żywą stronę w ciągu sekund. Bezpłatne konto odblokowuje dodatki, takie jak zapisywanie stron powiązanych i zrzuty całych stron. Jeśli publikujesz coś ważnego, zapisanie tego samego dnia to najtańsze ubezpieczenie w internecie.

Odmawia częściej, niż ludzie się spodziewają. Strony zablokowane przez robots.txt nie zostaną zapisane. Używanie anonimowe jest ograniczone szybkością, więc zbiorcze zapisywanie pięćdziesięciu stron z rzędu się zatrzyma. Ekran logowania zapisuje się jako ekran logowania. A ciężkie aplikacje JavaScript czasami archiwizują się jako pusta powłoka, HTML zapisał się dobrze, ale treść istniała tylko po uruchomieniu skryptów, a skrypty odwoływały się do API, które dawno nie żyje.

Gdzie Wayback Machine zawodzi

• Wszystko za logowaniem, paywallem lub formularzem POST nigdy nie jest archiwizowane.
• Interaktywne aplikacje renderowane za pomocą JavaScript często przetrwają jako puste powłoki.
• Strumieniowane wideo i audio rzadko odtwarzają się ze starych zapisów.
• Luki. Ten jeden tydzień, którego desperacko potrzebujesz, jest regularnie tym tygodniem, którego nikt nie zarchiwizował.
• Brak pobierania całej strony. Przeglądasz jedną stronę na raz, z linkami przepisanymi tak, aby wskazywały z powrotem przez archiwum.
• Kod po stronie serwera odszedł na zawsze. Migawki przechowują renderowany HTML; PHP, baza danych i panel administracyjny nigdy nie były publiczne, więc nigdy nie zostały zarchiwizowane.

Żadne z tych ograniczeń nie jest błędem. Archiwum zostało zbudowane dla pamięci, a nie dla migracji, i ta różnica ma znaczenie w chwili, gdy twój cel zmienia się z czytania starej strony na odbudowę całej witryny.

Od Wayback Machine do przywróconej strony

Przeglądanie migawki odpowiada na pytania. Nie daje ci strony internetowej. Linki wskazują z powrotem na archive.org, zasoby są serwowane z serwerów archiwum i nie ma przycisku eksportu. Ręczne kopiowanie sprawdza się przy jednej czy dwóch stronach; sklep z 3000 stron skopiowany w ten sposób to miesiąc życia, którego nie odzyskasz. To jest moment, gdy ludzie przestają badać i zaczynają szukać przywracania z Wayback Machine.

To właśnie jest luką, dla której powstało Restorix. Pobiera każdy zarchiwizowany plik domeny, odbudowuje działające linki wewnętrzne i najpierw pokazuje bezpłatną wycenę, dokładną liczbę plików, całkowity rozmiar i zamkniętą cenę przed jakąkolwiek płatnością. Przywracania są płatne za plik, pierwszy plik jest bezpłatny, a nieudane przywrócenia są automatycznie zwracane na saldo. Opcje obejmują niewidoczne, ale istotne elementy: usuwanie starych skryptów analityki i reklam, konwertowanie linków na relatywne, wymuszanie HTTPS, zachowywanie przekierowań 301 oraz eksportowanie ustrukturyzowanych danych artykułów jako XML, CSV lub JSON.

Gdy pliki są gotowe, jedno kliknięcie wdraża je na własny VPS przez SSH lub SFTP, na hosting współdzielony przez FTP lub do bucketa S3, a każde wdrożenie zawiera mały jednoplikowy CMS pod /webarchive-cms.php, więc przywrócona strona jest edytowalna w chwili, gdy wyląduje. Samouczek przeprowadza przez pełne przywrócenie w około dziesięć minut.