Jak pobierać z Archive.org: elementy, migawki i nie tylko

Fraza 'pobieranie z Archive.org' obejmuje dwie zupełnie różne czynności, a ich pomylenie to sposób, w jaki ludzie tracą popołudnia. Zadanie pierwsze: pobieranie plików z elementu, książki, sterownika, nagrania koncertu. Zadanie drugie: wyodrębnianie strony internetowej z Wayback Machine. Pierwsze ma przycisk pobierania. Drugie zdecydowanie nie.

Robię obie rzeczy co tydzień, dla przywracania stron klientów i do badań. Oto każda metoda, która nadal działa, z uczciwymi kompromisami: co jest jednym kliknięciem, co jest linią poleceń, a co jest pułapką ubraną w szaty przycisku pobierania.

Dwa sposoby pobierania z Archive.org

Archive.org przechowuje treści jako elementy, samodzielne pakiety plików z metadanymi, jak oznakowany folder na półce. Wayback Machine przechowuje migawki, oznaczone znacznikami czasu kopie poszczególnych adresów URL, serwowane z przepisanymi linkami. Elementy są przeznaczone do pobierania. Migawki są przeznaczone do przeglądania w przeglądarce.

Wszystko, co możesz zrobić, wynika z tego podziału. Pobieranie elementów jest oficjalnie obsługiwane: przyciski, torrenty, CLI, API metadanych. 'Pobieranie' migawek to tak naprawdę rekonstrukcje, pytasz API CDX, co istnieje, pobierasz oryginalne bajty każdego adresu URL, a następnie naprawiasz linki. Inne narzędzia, inne tryby awarii, inne budżety czasowe.

Nie jesteś pewien, w którym świecie się znajdujesz? Spójrz na URL. archive.org/details/coś to element, do pobrania. web.archive.org/web/2012/http://przyklad.com to migawka, do przeglądania. To samo archiwum, dwa schematy adresów, dwa zestawy zasad.

Pobieranie elementów Archive.org w prosty sposób

Otwórz dowolną stronę elementu i spójrz na okno pobierania po prawej stronie. Otrzymujesz poszczególne pliki, zwykle link do torrenta, a czasami skrót ZIP lub pełny tekst. W przypadku jednego PDF-a lub ISO, kliknij plik. Gotowe. To jedyna część pobierania z Archive.org, która działa tak, jak ludzie oczekują.

• Kliknij 'SHOW ALL', aby zobaczyć każdy plik w elemencie, w tym logi i formaty pochodne, które okno ukrywa.
• Bezpośrednie adresy URL są przewidywalne: archive.org/download/{identifier}/{filename}, idealne dla skryptów i wget.
• Opcja torrenta często bije HTTP w przypadku wielogigabajtowych elementów, a po przerwaniu połączenia wznawia czysto.
• Pochodne to wygenerowane wersje, tekst z OCR, mniejsze MP4. Oryginalny przesył jest oznaczony jako taki; chwyć go, gdy wierność ma znaczenie.

Jeszcze jedna sztuczka dla skrypterów: dodaj /metadata/{identifier} do archive.org, a otrzymasz listę JSON każdego pliku, jego rozmiar, sumę kontrolną i format. Ten JSON jest dokładnie tym, co narzędzie wiersza poleceń wykorzystuje pod maską.

Masowe pobieranie za pomocą Internet Archive CLI

W przypadku więcej niż kilku elementów zainstaluj oficjalne narzędzie wiersza poleceń, pakiet Python internetarchive, który dostarcza polecenie ia. Obsługuje uwierzytelnianie, wznawianie i ponawianie prób, i to jest różnica między skryptem a weekendem klikania.

1. Instalacja: pip install internetarchive, a następnie uruchom ia configure raz ze swoim kontem.
2. Jeden element: ia download {identifier} kopiuje cały element do lokalnego folderu.
3. Wybór: ia download {identifier} --glob='*.pdf', żadnych więcej niespodzianek 40 GB.
4. Całe wyszukiwania: ia search 'collection:archiveteam AND year:2013' --itemlist > list.txt, a następnie pętla ia download na tym pliku.

Limity szybkości istnieją. CLI samo grzecznie ponawia próby; twój surowy wget w pętli przeciwko archive.org nie będzie, a walenie skutkuje ograniczeniem lub blokadą. Bądź tym grzecznym, archiwum jest organizacją non-profit, a nie CDN.

Jak pobierać migawki internetowe Archive.org

Teraz trudniejsza połowa. Migawka Wayback nie jest elementem, więc nie ma okna pobierania. Masz cztery realistyczne ścieżki, w kolejności nakładu pracy:

1. Pojedyncza strona, natychmiast: otwórz migawkę i użyj funkcji zapisu przeglądarki. W porządku dla jednej strony; zapisana kopia nadal wskazuje zasoby na web.archive.org.
2. Oryginalne bajty jednego pliku: wstaw id_ po znaczniku czasu w adresie URL migawki, web.archive.org/web/20120501000000id_/http://przyklad.com/style.css, i otrzymujesz niemodyfikowany ładunek. Idealne dla pojedynczych obrazów, CSS i PDF-ów.
3. Skryptowe pobieranie: zapytaj API CDX o każdy przechwycony URL pod ścieżką, a następnie żądaj każdego z modyfikatorem id_. Działa, ale teraz utrzymujesz skrobak, deduplikujesz skróty i samodzielnie przepisujesz linki.
4. Narzędzia do pobierania i usługi przywracania: narzędzia społecznościowe, takie jak gem wayback-machine-downloader, automatyzują pętlę CDX-plus-pobieranie; usługa przywracania taka jak Restorix robi to plus czyszczenie i ponowne wdrożenie.

Zauważ wzór: w momencie, gdy chcesz więcej niż jedną lub dwie strony, piszesz lub uruchamiasz narzędzia. Nie ma w tym wstydu, po prostu zaplanuj to uczciwie.

Jedno zastrzeżenie co do sztuczki z id_, ponieważ jest przereklamowana: daje ci oryginalne bajty tej jednej odpowiedzi, ale niczego nie naprawia. Strona pobrana za pomocą id_ nadal zawiera wszelkie bezwzględne adresy URL, których strona używała w 2012 roku, nadal odwołuje się do zasobów, których robot nigdy nie pobrał, i nadal zakłada domenę, której możesz już nie posiadać. Oryginalne bajty to materiał wyjściowy, a nie gotowa strona.

Elementy a migawki internetowe: kiedy które stosować

Ten ostatni wiersz zaskakuje ludzi: gdy Archive Team ratuje umierający host, wynik trafia do archiwum elementów jako ogromne pliki WARC. Ta sama strona internetowa może być zarówno pobraniem elementu, jak i zestawem migawek. Sprawdź najpierw stronę elementu, wstępnie spakowane przeszukiwanie bije tysiąc indywidualnych pobrań, a nasz przewodnik po formatach wyjaśnia, co robić z tymi WARC.

Błędy pobierania, które marnują godziny

• Rekurencyjny wget przeciwko web.archive.org. Każdy link jest przepisywany, aby pozostać w swojej domenie, więc twój robot z radością pobiera interfejs samej Wayback Machine aż do śmierci cieplnej wszechświata.
• Pobieranie całego elementu dla jednego pliku. Kliknięcie 'SHOW ALL' zajmuje dziesięć sekund; 40 GB ZIP zajmuje ci wieczór.
• Ufanie migawce jako całej stronie. Migawki są per-URL i oportunistyczne, obrazy serwowane z subdomeny CDN często są całkowicie nieobecne.
• Ignorowanie kodów statusu w wyjściu CDX. Przekierowania i 404 również są archiwizowane; filtruj do statuscode:200 i zwijaj skróty, w przeciwnym razie przywrócisz stuby przekierowań jako strony.
• Pomijanie sum kontrolnych. Elementy zawierają pliki md5 i sha1, zweryfikuj duże pobrania, zanim na nich zbudujesz.
• Zakładanie, że jedna data migawki wystarczy. Strona główna z 2011 roku z obrazami z 2009 jest normalna; strony były indeksowane fragmentarycznie, więc spodziewaj się mieszania dat migawek, aby uzyskać pełny obraz.

Masz pliki. Co teraz?

Pobrania elementów wpadają prosto do biblioteki multimediów lub łańcucha narzędzi, ta część jest rozwiązana. Pobieranie migawek to miejsce, gdzie zaczyna się prawdziwa praca: przepisane adresy URL, brakujące zasoby, martwe formularze kontaktowe, mieszane HTTP i HTTPS. Przekształcenie folderu migawek z 2011 roku w stronę, która faktycznie się ładuje, to zadanie przebudowy, a nie pobierania.

To jest moment, w którym przestałem samodzielnie pisać skrypty i zacząłem kierować ludzi do profesjonalnego serwisu odzyskiwania witryn. Darmowa wycena odczytuje archiwum za ciebie, dokładna liczba plików, całkowity rozmiar, zablokowana cena, zanim wydasz centa. Pierwszy plik przywrócony za darmo, płatność za plik po tym, jednorazowe doładowania, bez subskrypcji. Jeśli przywracanie lub wdrożenie się nie powiedzie, zwrot pieniędzy trafia na twoje konto automatycznie, bez potrzeby zgłaszania problemu.

Opcje przywracania obejmują drobne elementy, które w przeciwnym razie musiałbyś skryptować: usuwanie analityki i reklam, tworzenie linków względnych, wymuszanie HTTPS, kanonizacja www, zachowanie przekierowań. Wdrożenie jednym kliknięciem wysyła wynik do SSH/SFTP, FTP lub S3, a dołączony jednoplikowy CMS pod /webarchive-cms.php pozwala naprawiać treść na miejscu, samouczek przeprowadza przez całe zadanie. Pobieranie kończy poszukiwania; nie kończy pracy.