Narzędzia do pobierania z Wayback Machine: co naprawdę działa

Wyszukaj narzędzie do pobierania z Wayback Machine, a trafisz na ten sam zestaw rozwiązań, z których wszyscy korzystają od dekady, plus cmentarz porzuconych repozytoriów na GitHubie. Niektóre z tych narzędzi faktycznie działają. Wszystkie mają jednak ten sam sufit. To recenzja, którą chciałbym dostać przed moim pierwszym przywracaniem witryny: co tak naprawdę robią skrypty open-source, gdzie kończy się ich użyteczność i czego użyć, gdy strona musi wrócić do sieci.

Co tak naprawdę robi narzędzie do pobierania z Wayback Machine

Każde narzędzie do pobierania z Wayback Machine to ta sama maszyna pod maską. Odpytuje API CDX o listę zrzutów, iteruje przez tę listę i zapisuje każdy plik z adresu URL opatrzonego znacznikiem czasowym. Lepsze z nich dodają filtry dat i typów plików oraz logikę ponawiania, gdy archive.org zaczyna ograniczać żądania. Żadne z nich nie łączy się z jakąś tajną kopią zapasową Twojej witryny. Pobierają dane z tego samego publicznego archiwum, które możesz otworzyć w przeglądarce w tej chwili.

Ten fakt ma większe znaczenie niż jakakolwiek lista funkcji. Narzędzie do pobierania dziedziczy każdą lukę w archiwum: strony, które nigdy nie zostały zaindeksowane, obrazy, które nigdy nie zostały przechwycone, katalogi zablokowane przez plik robots.txt, który ktoś źle skonfigurował w 2015 roku. Narzędzie może pobrać tylko to, co istnieje.

Liczby szybko rosną. Skromna witryna z 200 podstronami, po doliczeniu obrazów, arkuszy stylów i skryptów, łatwo staje się zestawem 2000 plików. Przy jednym uprzejmym żądaniu na sekundę to ponad pół godziny czystego pobierania, zanim nastąpią ponowienia, zanim wejdą ograniczenia, zanim pojawią się pliki zwracające błąd 404, bo archiwum utraciło je lata temu.

Rozwiązania open-source

W każdym wątku na forach pojawiają się trzy nazwy i nie bez powodu:

• wayback-machine-downloader, gem w języku Ruby. Najbardziej znany z całej grupy. Jedna komenda, wayback_machine_downloader http://example.com --from 2015 --to 2019, i katalog./websites wypełnia się każdym pasującym zrzutem. Zawiera flagę współbieżności i filtry według rozszerzenia pliku.
• waybackpack, narzędzie w języku Python. Pobiera zrzupy uporządkowane według znacznika czasowego, co sprawia, że dobrze sprawdza się w pobieraniu jednego konkretnego zrzutu strony, a jest mniej nastawione na tworzenie kopii lustrzanych całej witryny.
• HTTrack skierowany na adres URL zrzutu. Wcale nie jest prawdziwym narzędziem archiwizacyjnym. Podąża za przepisanymi linkami, które Wayback wstrzykuje w strony, i ciągnie za sobą całe drzewo zrzutu. Proste, czasami skuteczne na małych witrynach i całkowicie bezradne wobec ciągów zapytań.

Wszystkie trzy są darmowe. Wszystkie trzy są rozwijane w tempie hobbystycznym. I wszystkie trzy dają Ci stertę plików. To, co dzieje się potem, to Twój problem, i to zdanie obejmuje około osiemdziesięciu procent tego, co następuje. Zanim zainstalujesz którekolwiek z nich, przeczytaj otwarte zgłoszenia w repozytorium. Dziesięć minut tam mówi więcej niż jakikolwiek post porównawczy.

Czego oczekiwać od darmowego skryptu do pobierania z Wayback Machine

Ustal oczekiwania, zanim cokolwiek uruchomisz. Typowa pierwsza sesja z darmowym narzędziem do pobierania z Wayback Machine wygląda tak: trzydzieści minut walki z instalacją Ruby lub Python, dziesięć minut obiecującego postępu, a potem archive.org zaczyna odpowiadać błędami 429 i wszystko zwalnia do żółwiego tempa. Witryna z 5000 plików przy uprzejmym tempie żądań to praca na całą noc, a nocne zadania kończą się po cichu o trzeciej nad ranem.

Realistyczny pierwszy przebieg

1. Zainstaluj środowisko uruchomieniowe i narzędzie. Rozwiąż konflikty wersji, o których nikt nie wspomina w README.
2. Uruchom mały test na jednym katalogu witryny, aby potwierdzić format wyjściowy.
3. Rozpocznij pełne pobieranie i obejrzyj, jak pojawia się pierwsze sto plików.
4. Natrafi na limity żądań, zmniejsz współbieżność, uruchom ponownie i miej nadzieję, że logika wznawiania zadziała.
5. Otwórz folder wyjściowy i odkryj śmieci, które pobrały się razem z wartościowymi plikami.

Wynik zawsze wymaga segregacji. Jeśli nie zastosowałeś dobrych filtrów, dostajesz każdy zrzut każdego adresu URL: śmieci z parametrami śledzenia, wersje do druku, strony błędów, które i tak zwróciły status 200. A jeśli narzędzie nie pobrało wariantów z przyrostkiem id_, czyli oryginalnych, niezmodyfikowanych bajtów, każdy plik HTML trafia do Ciebie z przepisanymi linkami i paskiem narzędzi Wayback wbudowanymi w kod.

Kolejną niespodzianką jest organizacja. Większość skryptów zrzuca wszystko do ścieżek opatrzonych znacznikiem czasowym, które odzwierciedlają archiwum, a nie Twoją oryginalną strukturę katalogów. Odtworzenie prawdziwego drzewa folderów i zmiana nazw plików na te, których używał serwer, to praca ręczna, na którą nikt nie przeznacza budżetu.

Ograniczenia, na które trafisz

• Brak logiki przywracania. Narzędzie do pobierania pobiera pliki. Nie usuwa paska narzędzi Wayback, nie naprawia linków wewnętrznych, nie wybiera kanonicznego hosta ani nie konwertuje niczego na HTTPS.
• Brak inteligentnego usuwania duplikatów. Ten sam obraz zapisany pod sześcioma znacznikami czasowym staje się sześcioma plikami, chyba że sam zredukujesz je według skrótu treści.
• Limity żądań. Zbyt agresywne podejście sprawi, że archive.org zacznie Cię ograniczać lub całkowicie zablokuje na jakiś czas. Ponowne uruchomienia to normalny element pracy, a nie oznaka, że zrobiłeś coś źle.
• Gnicie zależności. Skrypty przypięte do starych wersji Ruby lub Python psują się na nowoczesnych systemach. Sprawdź datę ostatniego commita w repozytorium, zanim cokolwiek zainstalujesz.
• Brak wsparcia. Gdy narzędzie przestaje działać, tracker zgłoszeń pełni rolę pomocy technicznej, a ostatnia odpowiedź może pochodzić sprzed dwóch lat.
• Brak mety. Gdy skrypt kończy działanie, masz folder. Zamiana tego folderu w hostowaną, działającą witrynę to drugi projekt o podobnej skali.

Alternatywa typu „gotowe rozwiązanie”

Alternatywą dla opieki nad skryptami jest usługa, która traktuje pobieranie jako pierwszy krok przywracania, a nie całą pracę. ta usługa zaczyna od darmowej wyceny: dokładna liczba zarchiwizowanych plików, całkowity rozmiar i zablokowana cena, zanim zapłacisz cokolwiek. Następnie pobiera wszystko, czyści i może wdrożyć prosto na Twój hosting przez SSH, FTP lub S3.

Szczegóły są zbudowane pod to konkretne zadanie. Płacisz za każdy przywrócony plik, a pierwszy jest darmowy. Jeśli przywracanie lub wdrażanie się nie powiedzie, zwrot trafia na Twoje saldo automatycznie, bez zgłoszenia do wsparcia. Opcje przywracania usuwają analitykę i reklamy, przepisują linki na ścieżki względne i wymuszają HTTPS. Wdrożenia obejmują niewielki jedno-plikowy CMS z własnym wygenerowanym hasłem administracyjnym, dzięki czemu przywrócona witryna pozostaje edytowalna. Żadnych subskrypcji: doładowujesz saldo i wydajesz je.

Kiedy narzędzie do pobierania z Wayback Machine jest złym wyborem

Skrypt do pobierania to odpowiednie narzędzie do archiwów offline, zbiorów danych do badań i ratowania folderu starych plików PDF. Jest złym wyborem, gdy:

• Witryna musi wrócić do sieci i wyglądać przy tym poprawnie
• Osoba wykonująca pracę nigdy nie otworzy terminala
• Archiwum zawiera dziesiątki tysięcy adresów URL, z których połowa to śmieci z ciągami zapytań
• Masz termin: ponowne uruchomienie, żądanie prawne, klient, który oddycha Ci w kark

W takich przypadkach skrypt nie jest tańszy od usługi. Po prostu ukrywa rachunek w Twoich godzinach pracy. Wycena Restorix przynajmniej z góry podaje prawdziwą cenę, zanim poświęcisz weekend na przekonanie się o tym na własnej skórze. To nie czyni skryptów złymi. Czyni je narzędziami z zakresem obowiązków, a te obowiązki kończą się na folderze.

Jak wybrać

Wybieraj według celu docelowego, a nie według pobierania. Jeśli celem jest folder z plikami, darmowe narzędzia spisują zadanie i zawsze będą się spisywać. Jeśli celem jest sama witryna, pomiń etap folderu i przejdź prosto do rozwiązania, które ją odbudowuje.