Archiveorg: Wewnątrz największej darmowej biblioteki internetowej

Osoby, które wpisują archiveorg jako jedno słowo, zazwyczaj wiedzą, dokąd zmierzają, po prostu nie zawsze zdają sobie sprawę, ile jest w tym budynku. Większość trafia tu dla Wayback Machine i nigdy nie zauważa biblioteki z wypożyczalnią, archiwum koncertów, archiwum wiadomości telewizyjnych czy muzeum oprogramowania działającego w sąsiedniej karcie. To zrozumiałe. Oto pełna wycieczka, a przypadki użycia dla właścicieli stron zostawiamy na koniec, bo tam kończy się rozrywka, a zaczyna się zwrot z inwestycji.

Czym właściwie jest Archiveorg

Archiveorg, a właściwie Archive.org, to strona Internet Archive, biblioteki cyfrowej non-profit założonej w 1996 roku z siedzibą w San Francisco. Jej misją jest 'Powszechny dostęp do całej wiedzy', a strona jest ucieleśnieniem tej ambicji z polem wyszukiwania: jedno darmowe konto, bez paywalla, bez reklam, wszystko dostępne do przeglądania.

Strona główna jest zorganizowana według typów mediów, strony internetowe, teksty, wideo, audio, oprogramowanie, obrazy, każdy z własną wyszukiwarką i filtrami. Konto jest opcjonalne do przeglądania, a wymagane do wypożyczania książek lub przesyłania plików. Finansowanie pochodzi z darowizn, grantów i umów digitalizacyjnych z bibliotekami, dlatego strona od czasu do czasu prosi o drobny datek, a poza tym zostawia cię w spokoju.

Wayback Machine: internetowa kapsuła czasu Archiveorg

Klejnot koronny. Wayback Machine przechowuje ponad 900 miliardów zarchiwizowanych stron internetowych sięgających 1996 roku, największy publiczny zapis tego, jak wyglądała sieć w danym momencie. Wklej adres URL, zobacz kalendarz migawek, kliknij datę, a strona załaduje się tak, jak wyglądała wtedy, z uszkodzonymi banerami reklamowymi i całą resztą.

Dwie funkcje mają siłę rażenia nieproporcjonalną do swojej prostoty. Save Page Now, dostępne pod adresem web.archive.org/save, pozwala każdemu natychmiast zarchiwizować stronę, użyj go po wdrożeniach i migracjach, aby zachować kontrolowany zapis. A wyszukiwanie z symbolem wieloznacznym, web.archive.org/web/*/twojadomena.pl, wylicza wszystkie zarchiwizowane adresy w domenie, tak znajdziesz strony, o których istnieniu zapomniałeś. Pełny opis mechaniki, triki z kalendarzem, modyfikator id_ dla surowego pliku, widok podsumowania, znajdziesz w przewodniku po Wayback Machine.

Migawki są jednak nierównomierne. Ruchliwa strona główna serwisu informacyjnego może być zapisywana tysiące razy w roku; witryna osiedlowej piekarni, dwa razy. Reguły robots.txt w przeszłości ukrywały całe domeny, a wszystko, co znajduje się za loginem, dla robota indeksującego nigdy nie istniało. Brak migawki traktuj jako niejednoznaczny, a nie jako dowód, że strona nigdy nie istniała.

Jedno zastrzeżenie, wyrażone wprost, bo napędza wszystko, co dalej w tym artykule: Wayback to przeglądarka. Pokazuje ci strony. Nie daje ci witryny do pobrania.

Książki, audio i telewizja, które możesz wypożyczyć za darmo

Kolekcja tekstów liczy dziesiątki milionów pozycji: zeskanowane książki, artykuły naukowe, czasopisma, instrukcje. Za pośrednictwem Open Library możesz wypożyczyć współczesne zeskanowane książki na godzinę lub dwa tygodnie, a wszystko, co znajduje się w domenie publicznej, pobierzesz za darmo w formatach PDF, ePub lub Kindle. Same półki z czasopismami, stare magazyny komputerowe i o grach, w całości zeskanowane, uzasadniają wizytę.

Dwa cichsze zakątki zasługują na wzmiankę: indeks artykułów naukowych do badań w otwartym dostępie oraz archiwum instrukcji, w którym zdaje się lądować dokumentacja każdego martwego sprzętu z twojego garażu.

Dział audio opiera się na Live Music Archive, zawierającym grubo ponad sto tysięcy nagrań koncertowych, przy czym sekcja Grateful Dead to praktycznie osobna instytucja. Dodaj do tego stare słuchowiska radiowe i zdigitalizowane płyty 78 obrotów na minutę, a masz lata słuchania. Archiwum wiadomości telewizyjnych nagrywa transmisje i indeksuje ich napisy, dzięki czemu możesz znaleźć każdą wzmiankę na dany temat na przestrzeni lat. Jest też kolekcja Prelingera: tysiące starych filmów edukacyjnych, przemysłowych i reklamowych, najlepsze źródło niezręczności z połowy ubiegłego wieku w całym internecie.

Muzeum oprogramowania, w które możesz zagrać

Biblioteka oprogramowania to cichy hit: dziesiątki tysięcy gier MS-DOS, automatów arcade, tytułów konsolowych i historycznych aplikacji, wszystkie emulowane w przeglądarce. Bez instalacji, bez grzebania w plikach konfiguracyjnych emulatora, kliknij, poczekaj kilka sekund i grasz w rok 1993. Jest tam też historyczne oprogramowanie biurowe, co brzmi sucho, dopóki nie nadejdzie dzień, w którym musisz otworzyć format pliku, którego nie czyta nic współczesnego.

Ta kolekcja ma znaczenie wykraczające poza nostalgię. To działające laboratorium konserwacji, dowód na to, że emulacja utrzymuje oprogramowanie w stanie używalności dekady po tym, jak umarł jego sprzęt. Zarezerwuj sobie popołudnie; i tak je stracisz.

Skrzydło arcade trafia na pierwsze strony gazet, setki automatów na monety, ale cichszymi perełkami są historyczne kolekcje PC: wczesne arkusze kalkulacyjne, narzędzia DTP, całe systemy operacyjne uruchamiające się w karcie przeglądarki. Deweloperzy używają ich, by sprawdzić, jak zachowywały się pradawne formaty plików; wszyscy inni używają ich, by przypomnieć sobie, jak cierpliwi byli kiedyś ludzie.

Archiveorg dla właścicieli stron i webmasterów

Teraz część, która się zwraca. Jeśli prowadzisz strony internetowe, Archiveorg to darmowe narzędzie operacyjne:

• Monitoruj swój własny ślad. Sprawdzaj historię migawek swojej domeny kilka razy w roku. Luki mówią ci, kiedy roboty nie mogły do ciebie dotrzeć, czasem to pierwszy widoczny znak błędu w robots.txt lub problemu z hostingiem, którego nikt nie zgłosił.
• Zapisuj rekordy za pomocą Save Page Now. Wdrażasz przeprojektowanie lub migrujesz platformy? Zapisz kluczowe adresy URL przed i po. Twoje przyszłe ja, w trakcie incydentu, będzie wdzięczne.
• Weryfikuj wygasłe domeny. Przed zakupem porzuconej domeny sprawdź, co na niej hostowano. Domena, która przez lata służyła jako farma spamu, przenosi tę reputację na twój projekt.
• Odzyskuj utraconą treść. Kopie zapasowe zawodzą; archiwa pamiętają. Tekst i obrazy wyciągnięte z migawek uratowały niejedną stronę z kategorii 'już nigdy nie będzie nam to potrzebne'.
• Prowadź archeologię konkurencji. Kiedy rywal podniósł ceny? Zrezygnował z funkcji? Przeprowadził rebranding? Ich stare strony mają znaczniki czasu i są publiczne.

Jeszcze jedno: dowody. Migawki ze znacznikami czasu są rutynowo wykorzystywane do ustalenia, co strona mówiła w danym dniu, w sporach, sprawach o usunięcie treści i przy należytej staranności. Zrób zrzut ekranu paska narzędzi ze znacznikiem czasu, a nie tylko strony.

Wydobywanie prawdziwych plików z Archiveorg

Przeglądanie to nie odzyskiwanie. Jeśli zadaniem jest 'odbuduj tę stronę', sklep WooCommerce klienta, który hosting skasował, forum społecznościowe porzucone przez administratora, potrzebujesz ekstrakcji. Restorix został zbudowany właśnie do tego: wyciąga zarchiwizowaną kopię domeny z Wayback Machine i oddaje ją jako działające pliki.

1. Zacznij od darmowej wyceny: dokładna liczba zarchiwizowanych plików, całkowity rozmiar i stała cena. Znasz koszt, zanim zapłacisz choćby centa.
2. Wybierz zakres dat migawek i opcje czyszczenia, usuń stare skrypty analityczne, reklamy, ramki iframe i linki zewnętrzne, zminimalizuj zasoby, uczyń linki wewnętrzne względnymi, wymuś HTTPS, zachowaj przekierowania.
3. Płać za odzyskany plik; pierwszy plik jest darmowy. Doładuj saldo raz, nic nie jest cykliczne, a nieudane odzyskiwania są automatycznie zwracane.
4. Pobierz wynik, wyeksportuj artykuły jako XML, CSV lub JSON z pełnym manifestem plików lub wdróż na swój serwer jednym kliknięciem. Dołączony Restorix CMS pozwala edytować odzyskaną treść bez dotykania kodu.

Szczegóły dotyczące ratowania domen, wygasłe domeny, martwe hostingi, strony z brakującymi zasobami, znajdziesz w pogłębionym przewodniku odzyskiwanie starych stron, a samouczek pokazuje pełne odzyskiwanie od wyceny do wdrożenia.

Czego biblioteka dla ciebie nie zrobi

Krótka, szczera lista. To nie jest twoja kopia zapasowa: częstotliwość indeksowania jest poza twoją kontrolą, a nowoczesne strony oparte na JavaScript są słabo archiwizowane. Nie ma wyszukiwania pełnotekstowego w archiwum internetowym, tylko adresy URL, nie treść stron. Treści za loginem i paywallem nigdy nie były indeksowane. Właściciele stron mogą zażądać wykluczenia, więc niektórych domen po prostu tam nie ma. A po stronie internetowej nie ma masowego pobierania, co warto powtórzyć, bo to pytanie, z którym przychodzą wszyscy.

Nic z tego nie umniejsza wartości. To darmowa biblioteka publiczna przechowująca pamięć sieci w skali petabajtów, prowadzona przez organizację non-profit z budżetem, który zawstydziłby średniej wielkości startup. Traktuj ją jako pierwsze miejsce, do którego zaglądasz, i wiedz, dokąd się udać, gdy samo patrzenie przestaje wystarczać.