Pobieranie z Wayback: każda metoda uszeregowana według nakładu pracy

Witryna zniknęła. Hosting ją skasował, kopie zapasowe to puste archiwa, a jedyny zachowany egzemplarz na Ziemi znajduje się w Wayback Machine. Potrzebujesz pobrania z Wayback, które faktycznie zadziała, a są cztery sposoby, by to osiągnąć. Wahają się od dwuminutowego triku w przeglądarce po usługę, która robi wszystko za Ciebie, a różnica w nakładzie pracy między nimi jest ogromna. Oto każda metoda, uszeregowana według kosztu w godzinach, wraz z trybami awarii, o których nikt nie wspomina na stronach lądowania.

Co faktycznie daje Ci pobranie z Wayback

Wayback Machine nie przechowuje Twojej witryny. Przechowuje odpowiedzi: jeden URL, jedno skanowanie, jeden moment w czasie. Twoja strona główna może mieć 10 000 zrzutów, podczas gdy polityka prywatności, tylko dwa, z 2014 i 2019 roku. Pobranie z Wayback oznacza pobranie tych zapisanych odpowiedzi URL po URL i złożenie ich w coś, co przypomina oryginał.

Z tego wynikają dwa wnioski. Po pierwsze, wszystko, czego crawler nigdy nie zobaczył, przepada na zawsze: brak bazy danych, brak kodu źródłowego PHP, brak panelu administracyjnego, niczego za logowaniem. Po drugie, każdy pobrany plik jest zamrożony w czasie skanowania, którego nie wybierałeś. Połączenie arkusza stylów z 2016 roku ze stroną główną z 2021 roku sprawia, że witryna wygląda jak list z żądaniem okupu, bo dokładnie to złożyłeś.

Widok kalendarza na dowolnej stronie zrzutu to uwidacznia. Niebieskie kółka oznaczają skanowania, a luki między nimi mogą sięgać lat na niepopularnych stronach. Zanim w ogóle wybierzesz metodę, wybierz datę docelową: rok, w którym witryna wyglądała tak, jak chcesz. Każda późniejsza decyzja, które zrzuty pobrać, którym zasobom zaufać, staje się prostsza.

Metoda 1: Zapis pojedynczej strony w przeglądarce

Otwórz zrzut, naciśnij Ctrl+S, wybierz Strona internetowa, kompletna. Gotowe. Dla jednej strony to najszybsze pobranie z Wayback, jakie istnieje. Dla czegokolwiek powyżej dziesięciu stron staje się formą samokary, więc wiedz, kiedy przestać. Jeśli przeglądarka coś zepsuje, otwórz narzędzia deweloperskie, znajdź adresy URL zasobów w zakładce sieci i zapisz te pliki osobno.

• Użyj triku id_: wstaw id_ po sygnaturze czasowej w adresie URL zrzutu, aby uzyskać oryginalny HTML dokładnie taki, jak został zapisany, bez paska narzędzi Wayback i przepisanych linków.
• Zapisane strony hotlinkują swoje zasoby z powrotem do web.archive.org. Otwórz plik offline, a połowa obrazów znika, chyba że zapisałeś je również jawnie.
• Sprawdź datę zrzutu w widoku kalendarza przed zapisem. Pobranie niewłaściwego roku to najczęstszy błąd początkujących, a archiwum rzadko ostrzega.

Metoda 2: Skrypt wget do pobierania z Wayback

Klasyczny ruch to wget w trybie mirror skierowany na zarchiwizowany adres URL: wget --mirror --page-requisites --convert-links https://web.archive.org/web/2019/https://example.com. wget podąża za przepisanymi linkami, które wstrzykuje Wayback, co utrzymuje Cię w archiwum, a --page-requisites pobiera CSS, JavaScript i obrazy potrzebne na każdej stronie.

Dla witryny typu broszura z 40 stronami może to zakończyć się w jeden wieczór. Przeznacz ten wieczór na nadzorowanie. archive.org ogranicza agresywnych klientów, więc dodaj --wait=2 między żądaniami i spodziewaj się kilkukrotnego ponownego uruchomienia komendy, gdy się zawiesi. Wyrażenie regularne --reject, które utrzymuje wget w pobliżu docelowej sygnatury czasowej, powstrzymuje go przed błądzeniem w poprzek dwudziestu lat zrzutów.

Efektem jest katalog plików HTML, który nadal zawiera pasek narzędzi Wayback, sygnatury czasowe w każdym adresie URL zasobu oraz ciche luki wszędzie tam, gdzie crawler pominął plik. Przekształcenie tej sterty w witrynę gotową do wdrożenia to drugi projekt, i to jest ta część, o której ludzie zapominają w harmonogramie.

Metoda 3: Skryptowanie z użyciem API CDX

Gdy ślepe crawlowanie nie wystarcza, sięgnij do źródła. API CDX zwraca czytelną dla maszyny listę każdego zrzutu dla adresu URL lub domeny: web.archive.org/cdx/search/cdx?url=example.com/*&output=json&filter=statuscode:200&collapse=urlkey. To jedno żądanie jest już bardziej użyteczne niż godzina z wget, ponieważ informuje Cię, co istnieje, zanim cokolwiek pobierzesz.

Pętla jest prosta w Pythonie lub Node: odczytaj listę, pobierz każdy zrzut z sufiksem id_, zapisz na dysku, odczekaj uprzejmie między żądaniami. Siła tkwi w filtrach. Ogranicz po roku lub typie MIME i użyj collapse=digest, aby odrzucić zduplikowane zrzuty, dzięki czemu pobierzesz każdy unikalny plik raz zamiast czterdziestu.

To metoda, po którą sięgam przy pracy śledczej, na przykład pobranie wszystkich plików PDF, jakie firma kiedykolwiek opublikowała, lub odbudowa jednego katalogu na określoną datę. To również pełnoprawny projekt programistyczny: staranny skrypt dla średniej witryny to weekend pisania, testowania i ponownego uruchamiania po tym, jak połączenie padnie o drugiej w nocy.

Metoda 4: Automatyczne usługi przywracania

Czwarta opcja to całkowite pominięcie pracy ręcznej. Usługi stworzone do tego zadania odpytują archiwum, pobierają każdy zapisany plik, usuwają szkielet Wayback, naprawiają linki wewnętrzne i oddają Ci działającą witrynę zamiast folderu pełnego fragmentów.

Restorix to narzędzie, na które kieruję klientów. Samo darmowe oszacowanie jest warte kliknięcia: zanim cokolwiek zapłacisz, widzisz dokładną liczbę zarchiwizowanych plików, całkowity rozmiar i zablokowaną cenę. Przywracania są rozliczane za plik, pierwszy plik jest darmowy, a jeśli przywracanie lub wdrożenie się nie powiedzie, zwrot automatycznie trafia na Twoje saldo. Bez zgłoszeń, bez kłótni z supportem.

W porównaniu z drogą zrób-to-sam wymiana jest brutalna: niewielka stała opłata w zamian za Twój weekend, bóle głowy związane z limitami żądań i skrypt porządkujący. W trzech ostatnich zleceniach, które oszacowałem, opłata okazała się niższa niż koszt dwóch płatnych godzin klienta.

Błędy, które psują pobieranie z Wayback

• Ignorowanie ciągów zapytań. /page.php?id=12 i /page.php?id=13 to różne zrzuty różnych stron. Pomiń je, a połowa bloga WordPress lub forum phpBB znika.
• Ślepe mieszanie sygnatur czasowych. Strona główna z 2018 wyrenderowana z CSS z 2013 wygląda jak zepsuta kserokopia. Wybierz datę docelową i trzymaj się jej w granicach kilku miesięcy.
• Zapominanie o innych hostach. Obrazy na cdn.example.com lub assets.example.net to osobne zrzuty pod osobnymi prefiksami URL, a zapytanie obejmujące tylko jedną witrynę nigdy ich nie zobaczy.
• Ufanie starej pokrycie. Archiwum przez lata honorowało wykluczenia robots.txt, więc całe sekcje niektórych witryn nigdy nie zostały zapisane.
• Zakładanie, że najnowszy zrzut jest najlepszy. Nowszy nie zawsze znaczy lepszy. Witryna zapisana po włamaniu, zaparkowaniu lub przekierowaniu jest warta mniej niż zdrowy zrzut sprzed dwóch lat.
• Zapisywanie przepisanego HTML. Bez sufiksu id_ wbudowujesz pasek narzędzi Wayback i linki archive.org w każdą stronę, a ktoś musi je później usunąć.

Wybór właściwej metody dla Twojej witryny

Realistyczny scenariusz: witryna marketingowa klienta z 300 stronami znika bez kopii zapasowej. Metoda pierwsza kosztuje Cię 300 ręcznych zapisów, czyli około dziesięciu godzin. Metoda druga kosztuje wieczór plus dzień porządków. Metoda trzecia kosztuje weekend, jeśli już programujesz. Metoda czwarta kosztuje stałą opłatę, którą znałeś przed rozpoczęciem, a witryna wraca oczyszczona, z naprawionymi linkami i gotowa do wdrożenia. Matematyka godzinowa nie jest subtelna.

Moja zasada po latach pracy przy przywracaniu: jeśli witryna ma znów działać, idź prosto do metody czwartej, bo dokładnie do tego powstał Restorix. Jeśli potrzebujesz jednej strony jako dowodu lub dla nostalgii, metoda pierwsza. Dwie środkowe są dla osób, którym zależy na drodze, a nie na celu.