Odtwarzanie z Wayback Machine: 4 pułapki i jak ich uniknąć

Wayback Machine sprawia, że odtwarzanie wygląda na proste: wybierz datę, odzyskaj stronę. Potem otwierasz folder z odtworzoną zawartością i widzisz stronę parkingową w miejscu, gdzie powinna być twoja strona główna, połowa obrazów zwraca 404, a stopka z 2011 roku siedzi pod stroną z 2017. Wyczyściłem wystarczająco wiele nieudanych odtworzeń, żeby wiedzieć, że te błędy są przewidywalne. Te same cztery pułapki psują prawie każde nieudane odtworzenie z wayback machine, a każda z nich wymaga około dziesięciu minut sprawdzania, żeby jej zapobiec. Oto co idzie nie tak, dlaczego i jak to wyłapać, zanim cokolwiek zapłacisz.

Dlaczego odtwarzanie z wayback machine się nie udaje

Archiwum nie jest kopią zapasową twojej strony. To stos okazjonalnych crawli: różne strony złapane w różne dni, niektóre zasoby pominięte całkowicie, niektóre snapshoty zrobione, gdy strona była zepsuta. Narzędzie do odtwarzania może pracować tylko z tym, co crawler złapał. Większość katastrof przy odtwarzaniu bierze się z traktowania archiwum jak idealnego lustra i pomijania opisanych niżej sprawdzeń.

Liczby mówią same za siebie. Przy jednym zleceniu dla klienta, forum phpBB z 2009 roku z około 8000 zarchiwizowanymi URL-ami, najnowsze sześć miesięcy snapshotów to wszystko były przechwycenia przekierowań wskazujące na sprzedawcę domen. Odtworzenie z domyślnej, najnowszej daty dostarczyłoby 8000 kopii strony „na sprzedaż”. Dobre dane tam były, dwa lata wcześniej. Narzędzie było w porządku; wybór daty był całą grą.

Pułapka 1: Odtwarzanie strony parkingowej

Domeny wygasają, rejestratorzy je parkują, a Wayback Machine spokojnie crawluje stronę parkingową. Z widoku kalendarza te snapshoty wyglądają identycznie jak dobre, te same niebieskie kółka, te same znaczniki czasu. Znak rozpoznawczy pojawia się dopiero po otwarciu snapshota: reklamy tam, gdzie powinna być twoja treść, baner oferujący domenę na sprzedaż, logo rejestratora w rogu.

Parking często trafia najpierw na stronę główną, podczas gdy głębsze strony wciąż pokazują prawdziwą treść, więc szybkie spojrzenie na jedną stronę nie wystarczy. Widziałem odtworzenia, gdzie strona główna była stroną parkingową z 2020, a strona „o nas” to był prawdziwy content z 2016, odtworzona strona czytała się jak list z żądaniem okupu.

• Otwórz faktyczny snapshot, nie tylko miniaturkę w kalendarzu, zanim wybierzesz datę
• Sprawdź stronę główną i co najmniej dwie strony wewnętrzne z tego samego okresu
• Jeśli ostatnie snapshoty są parkingowe, cofnij się w kalendarzu do ostatniego przechwycenia z twoim prawdziwym designem
• Potwierdź, że snapshot pokazuje twoją nawigację, a nie farmę linków rejestratora

Pułapka 2: Łańcuchy przekierowań i pętle

Gdy strona zaczyna przekierowywać, stara domena na nową, http na https, non-www na www, crawler zapisuje przekierowanie, nie treść. Odtwórz z tych snapshota i dostajesz strony, które wskazują na strony, które wskazują na strony. Klasyczny przypadek: ostatni rok snapshota dla strony, która migrowała domeny, to same przechwycenia 301, a treść przestała być archiwizowana w dniu migracji.

Nieprzyjemny wariant to pętla przekierowań: strona A przekierowuje do B, strona B wraca do A, a crawler archiwizuje oba skoki. Przeglądarki poddają się po kilku skokach i twoi odwiedzający też.

Poprawka ma dwie części. Odtwarzaj z okresu przed rozpoczęciem przekierowań i zachowaj celowe reguły przekierowań, które działały w twoim wybranym oknie, zamiast zepsutych łańcuchów, które crawler nagrał. W Restorix opcja zachowania 301/302 robi dokładnie to, zachowuje zamierzone przekierowania i odrzuca przypadkowe. Jeśli odtwarzasz ręcznie, przejrzyj pobrane HTML pod kątem wrapperów archive.org, zanim cokolwiek wrzucisz; chowają się w tagach meta refresh i linkach canonical.

Pułapka 3: Brakujące obrazy i zepsute zasoby

Crawlery są uprzejme. Szanują robots.txt, poddają się na wolnych serwerach i pomijają pliki powyżej limitów rozmiaru. Obrazy są pierwszymi ofiarami. Strona może być złapana dwadzieścia razy, a jej obraz główny nigdy. Stracisz też zasoby, które stały za hotlink protection lub na subdomenie CDN, którą crawler zignorował.

Najgorsi są obrazy tła odwołujące się z plików CSS. HTML strony archiwizuje się dobrze, arkusz stylów archiwizuje się dobrze, a 400 KB zdjęcie, na które wskazuje arkusz stylów, już nie, więc strona odtwarza się z szarą pustką w miejscu, gdzie kiedyś był design. Zauważysz to dopiero po otwarciu odtworzonej strony, chyba że sprawdzisz wcześniej.

• Sprawdź manifest plików pod kątem statusu przechwycenia każdego pliku, zamiast zakładać, że obraz istnieje
• Spodziewaj się luk w folderach /uploads/ na stronach z dużą ilością obrazów i zaplanuj czas na znalezienie zamienników
• Zaakceptuj, że cokolwiek za logowaniem, formularzem POST lub renderowaniem JavaScript w ogóle nie jest w archiwum
• Sprawdź losowo pięć obrazów w zarchiwizowanym snapspocie, zanim zdecydujesz się na datę

Żadne narzędzie do odtwarzania nie odzyska pliku, którego archiwum nigdy nie przechwyciło. To, co dobre narzędzie robi, to pokazuje ci luki od razu, Restorix generuje manifest JSON/SQLite z listą każdego pliku i jego statusem, więc znajdujesz dziury w wycenie, a nie po wdrożeniu.

Pułapka 4: Pomieszane znaczniki czasu między stronami

Crawler odwiedza twoją stronę główną często, a głębokie strony rzadko. Odtwórz całą stronę i strona główna może być z marca 2019, a strona z cenami z października 2015. Wynik czyta się jak strona utrzymywana przez podróżnika w czasie: stare ceny, odeszli pracownicy, stopka z prawami autorskimi, która nie zgadza się sama ze sobą między stronami.

Jeden klient kiedyś odtworzył stronę restauracji i dumnie ją uruchomił, z menu z 2014, stroną rezerwacji z 2017 i stroną główną z 2019 ogłaszającą szefa kuchni, który odszedł trzy lata wcześniej. Pliki były wszystkie prawdziwe. Problem był w mieszance.

Użyj wyboru zakresu dat, żeby odtworzenie trafiło w spójne okno. Dla strony broszurowej zwykle wystarczy sześć do dwunastu miesięcy. Dla forum lub sklepu zaakceptuj rozrzut na starych wątkach i stronach produktów, ale przypnij kluczowe strony docelowe do tej samej ery. Potem przepuść znajdź-i-zamień przez oczywiste znaki: lata, ceny, numery telefonów, nazwiska pracowników.

Kiedy odtwarzanie z wayback machine jest niewłaściwym narzędziem

Czasem archiwum po prostu nie ma twojej strony. Jeśli robots.txt blokował crawlery, jeśli cała strona stała za logowaniem lub jeśli została zbudowana po ostatnim crawlu i szybko umarła, nie ma czego odtwarzać. Sprawdź kalendarz, zanim cokolwiek zaplanujesz. Gdy archiwum wychodzi puste, twoje realistyczne opcje to kopia web cache kilku kluczowych stron, stare backupy od poprzedniego hosta lub dewelopera albo odbudowa od zera z dowolną treścią, którą uda ci się uratować.

Odtwarzanie jest też niewłaściwym narzędziem, gdy potrzebujesz tylko jednej strony. Zapisanie pojedynczej strony z archiwum ręcznie zajmuje dwie minuty; pełne odtwarzanie służy do odzyskania całej działającej strony.

Jak zweryfikować snapshot przed odtworzeniem z wayback machine

1. Otwórz snapshot i przejdź przez trzy poziomy nawigacji
2. Wyświetl źródło i wyszukaj wrappery web.archive.org, które trzeba będzie usunąć
3. Potwierdź, że pięć losowych obrazów ładuje się z archiwalnej kopii
4. Porównaj datę przechwycenia strony głównej z datą przechwycenia głębokiej strony
5. Zweryfikuj, że snapshot to twoja strona, nie strona parkingowa, nie deface po włamaniu, nie przekierowanie
6. Zanotuj pełny URL ze znacznikiem czasu, żeby narzędzie do odtwarzania użyło dokładnie zweryfikowanego przechwycenia

Pięć minut weryfikacji bije na głowę odtwarzanie 9000 złych plików. Albo pomiń ręczną robotę: uruchom darmową wycenę, a pokaże dokładną liczbę zarchiwizowanych plików, łączny rozmiar i stałą cenę za wybraną datę, zanim cokolwiek zapłacisz. Jeśli liczba wygląda dziwnie, 12 plików dla strony, która według ciebie miała setki podstron, to archiwum mówi ci, że snapshot jest cieńszy niż wygląda.

Checklista odtwarzania z wayback machine

Wydrukuj ją albo miej otwartą w zakładce. Każda pozycja zajmuje mniej niż dwie minuty, a każda pominięta pozycja to odtworzenie, za które możesz zapłacić dwa razy. Jeśli wolisz działanie niż sprawdzanie, quick-start guide przeprowadzi cię przez samo odtwarzanie krok po kroku.

Każde złe odtworzenie, które naprawiłem, zawiodło na wyborze snapshota, nie na pobieraniu. Archiwum mówi ci, co ma, przeczytaj to, zanim za to zapłacisz.