Strona Archive.org: wyszukiwanie zaawansowane, filtry i kolekcje

Większość osób zagląda na stronę Archive.org dokładnie raz. Wklejają martwy adres URL do Wayback Machine, robią zrzut ekranu i wychodzą. To marnotrawstwo poważnego narzędzia. Za tym samym logowaniem kryje się pełna biblioteka cyfrowa, dziesiątki milionów obiektów, z własną wyszukiwarką, składnią zapytań i filtrami, z których prawie nikt nie korzysta.

Od lat wyciągam z Archive.org witryny klientów, martwe oprogramowanie i zeskanowane instrukcje. Różnica między znalezieniem czegoś w dwie minuty a rezygnacją po dwudziestu rzadko zależy od szczęścia. Chodzi o to, które pole wyszukiwania wybrać i który filtr kliknąć. To jest workflow, który faktycznie stosuję.

Co faktycznie indeksuje strona Archive.org

Tutaj zaczyna się zamieszanie. Archive.org prowadzi dwa różne systemy, które dzielą to samo logo. Archiwum obiektów, przeszukiwane ze strony głównej, zawiera przesłane i zaindeksowane obiekty: książki, koncerty, oprogramowanie, filmy, nagrania radiowe. Każdy obiekt ma metadane, listę plików i recenzje. Wayback Machine, dostępna pod adresem web.archive.org, przechowuje snapshoty stron indeksowane po adresie URL. Ponad 900 miliardów z nich.

Dlaczego to ważne w przypadku starych witryn? Bo martwa strona może pojawić się w obu miejscach, w różnej formie. Strona Wayback Machine trzyma strony. Strona obiektów może zawierać ratunkowy crawl Archive Team całej usługi, w której żyła twoja witryna, GeoCities, FortuneCity, MobileMe, zapakowany jako pliki WARC do pobrania. Jeśli korzystasz zawsze tylko z jednych drzwi, ominiesz te drugie.

• Teksty: zeskanowane książki, instrukcje, magazyny, przeszukiwalne w pełnym tekście
• Oprogramowanie: wszystko, od płyt shareware po stare przeglądarki i projektory Flash
• Audio i wideo: koncerty na żywo, archiwa radiowe, kroniki filmowe, reklamy
• Obiekty web: kolekcje crawlów i łupy Archive Team, przechowywane jako pliki WARC
• Obrazy i dane: zestawy zdjęć, skany map, zbiory badawcze

Wyszukiwanie zaawansowane na stronie Archive.org

Pole na stronie głównej wystarczy do bootlegów Beatlesów. W przypadku czegokolwiek precyzyjnego przejdź do strony wyszukiwania zaawansowanego, archive.org/advancedsearch.php, albo sam napisz zapytanie. Składnia jest wzorowana na Lucene i ścisła: nazwy pól są małymi literami, zakresy używają nawiasów kwadratowych, a operatory logiczne muszą być wielkimi literami. Pomyl się w którymkolwiek z tych elementów, a po cichu dostaniesz śmieciowe wyniki.

Zapytanie, które znajduje oprogramowanie powiązane z Joomlą dodane między 2005 a 2010 rokiem, wygląda tak: title:(joomla) AND mediatype:software AND date:[2005-01-01 TO 2010-12-31]. Wklej je w pole wyszukiwania i po prostu działa. Bez formularza.

• identifier:, dokładny slug URL obiektu; najszybsze możliwe wyszukiwanie
• collection:, zawężenie do jednej kolekcji, np. collection:archiveteam
• creator: i title:, niedokładne, ale przydatne z cudzysłowami wokół fraz
• date:[YYYY-MM-DD TO YYYY-MM-DD], zakres daty dodania, nie daty pierwotnej publikacji
• mediatype:, texts, software, audio, movies, image, web, data
• NOT, AND, OR oraz nawiasy, łącz swobodnie, ale wielkimi literami

Jedna pułapka: date: filtruje po dacie trafienia obiektu do archiwum, a nie po dacie powstania treści. Instrukcja z 2003 roku wgrana w 2019 pasuje do 2019.

Filtry, które robią największą robotę

Gdy tylko wyniki się załadują, lewy pasek boczny to miejsce, w którym oszczędza się czas. Możesz filtrować po mediatype, roku, kolekcji, twórcy i języku oraz sortować po trafności, wyświetleniach (całkowitych lub tygodniowych), dacie dodania lub tytule. Większość wyszukiwań kończy się niepowodzeniem nie dlatego, że materiału nie ma, ale dlatego, że siedzi na stronie dziewiątej za dwustu odcinkami podcastów. Filtry to naprawiają.

1. Najpierw filtruj po mediatype. Wyszukiwanie nieistniejącego CMS-a po wszystkim topi cię w plikach audio.
2. Sortuj po tygodniowych wyświetleniach, gdy szukasz materiału aktywnie utrzymywanego, tłum to niezły sygnał jakości.
3. Łącz filtry kolekcji i roku, żeby odtworzyć, jak wyglądał zakątek sieci, powiedzmy, w 2008 roku.

Kolekcje warte poznania przy starych witrynach

Kolekcje to kuratorowane półki, a kilka z nich jest złotem dla każdego, kto poluje na stare witryny:

• archiveteam, spanikowane, pełne miłości łupy umierających usług: GeoCities, FortuneCity, Posterous, MobileMe. Często kompletne crawle WARC całych platform hostingowych.
• geocities i jego mirrory, akcja ratunkowa Yahoo! GeoCities, największe pojedyncze odzyskanie osobistych stron WWW w historii.
• widecrawl i inne kolekcje crawlów, masowe crawle Internet Archive, przydatne, gdy widok Wayback Machine dla konkretnego adresu URL ma luki.
• kolekcje biblioteki oprogramowania, stare przeglądarki, Flash, Shockwave, aplety Javy. Są potrzebne, żeby faktycznie uruchomić to, co serwowały stare witryny.
• cd-rom software library, płyty shareware pełne wiernych swojej epoce kreatorów stron, liczników i skryptów księgi gości.

Zacznij od strony kolekcji, nie od pola wyszukiwania. Opiekunowie zwykle dokumentują, co jest w środku, jak crawlowano i co oznacza układ plików, kontekst, który ratuje cię przed zgadywaniem o drugiej w nocy.

Strona Archive.org vs. Wayback Machine: którymi drzwiami wejść

Zasada kciuka: jeśli znasz adres URL, zacznij od Wayback Machine. Jeśli potrafisz tylko opisać rzecz, tę skórkę phpBB, której wszyscy używali w 2007, wygrywa wyszukiwanie obiektów. Przy pełnym odtwarzaniu zwykle i tak kończysz, korzystając z obu: crawlów i danych CDX od strony obiektów, snapshotów stron od strony Wayback.

Prawdziwy workflow: polowanie na martwe forum klienta

Konkretny przypadek. Forum phpBB klienta z 2009 roku zniknęło, gdy hosting padł w 2014. Domena przez lata stała zaparkowana; klient chciał odzyskać treść. Oto sekwencja, która zadziałała:

1. Zapytanie Wayback CDX na domenie, żeby zmapować, które adresy URL zostały przechwycone i kiedy, około 1400 przechwyceń, większość z lat 2010–2012.
2. Wyszukiwanie obiektów dla domeny i nazwy witryny wewnątrz collection:archiveteam, tym razem nic, ale to trzydziestosekundowe sprawdzenie.
3. Sprawdzenie kolekcji starego hostingu, sam hosting został częściowo przejęty przez Archive Team, co wypełniło kilka luk w szablonach i obrazach.
4. Wyszukiwanie oprogramowania forum z filtrem roku, żeby pobrać wierny epoce pakiet phpBB do odniesienia.

Łączny czas: około czterdzieści minut, większość na czytaniu wyjścia CDX. Wyszukiwanie jest łatwą częścią, gdy znasz drzwi. Zauważ, co się nie wydarzyło: żadnego zgadywania cache Google, żadnego błagania supportu starego hostingu, żadnych płatności, na razie. Archiwum powiedziało nam dokładnie, co przetrwało, 1400 przechwyceń, znaną lukę w 2013 i częściowy crawl ratunkowy, który ją łata. Te same dane CDX odczytuje wycena Restorix, żeby policzyć pliki i wycenić odtworzenie, tu ta historia się ciągnie dalej.

Kiedy strona Archive.org nie wystarcza

Powyższe metody pozwalają znaleźć materiał. Nie dają ci gotowej, działającej witryny. Snapshoty Wayback Machine mają przepisane adresy URL, brakujące obrazy, martwe formularze i bezwzględne linki wskazujące na domenę, której już nie kontrolujesz. Ręczne odbudowywanie witryny z surowych przechwyceń to dni skryptów sed i żalu.

Dokładnie tę lukę wypełnia Restorix CMS. Wklej adres URL, a darmowa wycena pokaże dokładną liczbę zarchiwizowanych plików, łączny rozmiar i ustaloną cenę, zanim cokolwiek zapłacisz. Odtworzenia mogą usuwać analitykę i reklamy, konwertować linki na względne, wymuszać HTTPS i wdrażać od razu na twój VPS, hosting FTP lub S3, z dołączonym CMS-em w jednym pliku, żebyś mógł edytować przywróconą treść.

Używaj strony Archive.org do zwiadu: sprawdź, co istniało, kiedy i ile z tego przetrwało. Potem pozwól narzędziom zająć się odbudową. Twój czas jest wart więcej niż weekend parsowania WARC-ów.