Historia stron internetowych: ocalone, utracone i dlaczego

W kwietniu 2009 roku Yahoo ogłosiło zamknięcie GeoCities. Trzydzieści osiem milionów stron użytkowników, pliki MIDI, animowane znaki budowlane, fanowskie sanktuaria wszystkiego, od Z Archiwum X po ryby tropikalne, miało zostać usuniętych w październiku. Ochotnicza ekipa o nazwie Archive Team spędziła sześć miesięcy na pobieraniu tyle, na ile pozwalała im przepustowość, i udostępniła zdobycz jako torrent. Kawałek wczesnego internetu przetrwał, ponieważ obcy ludzie zdecydowali, że powinien. Większość wczesnego internetu nie miała tyle szczęścia.

To spojrzenie na to, co faktycznie przetrwało z pierwszych dekad online, co zniknęło na zawsze oraz techniczne i społeczne przyczyny jednego i drugiego. Jeśli próbujesz odzyskać jedną konkretną starą witrynę, przejdź do ostatniej sekcji, ta część jest dla ciebie.

Historia stron internetowych jest młodsza, niż myślisz

Sieć WWW stała się publiczna w sierpniu 1991 roku, kiedy Tim Berners-Lee ogłosił projekt World Wide Web z CERN i wskazał ludziom na info.cern.ch. Nikt tego nie archiwizował. Nie było czym archiwizować, wielkoskalowe roboty indeksujące były jeszcze lata świetlne, a pomysł celowego przechowywania stron internetowych większości ludzi wydawał się gromadzeniem.

Internet Archive został założony w maju 1996 roku przez Brewstera Kahle, z danymi z indeksowania płynącymi z Alexa Internet. Sama Wayback Machine została udostępniona publicznie w październiku 2001 roku, już mając 10 miliardów stron. Dziś ma ponad 900 miliardów. Imponujące, ale luka ma znaczenie. Od 1991 do 1996 roku nie było żadnego systematycznego archiwizowania. Kiedy CERN przywrócił pierwszą stronę internetową pod jej oryginalnym adresem w 2013 roku, najstarsza kopia, jaką udało się znaleźć, pochodziła z listopada 1992. Oryginał z 1991 roku, prawdopodobnie najważniejsza strona w historii sieci, przetrwał tylko w zrzutach ekranu i rekonstrukcjach.

Wszystko z tej pięcioletniej luki przetrwało przez przypadek: taśma backupowa administratora, CD-ROM dołączony do magazynu, mirror FTP, który ktoś zapomniał usunąć.

Kto co uratował: archiwiści, wolontariusze i biblioteki

Cztery grupy dokonały ratowania, każda z innymi motywami i różnym zasięgiem.

• Internet Archive prowadzi ciągłe indeksowanie i przyjmuje publiczne zgłoszenia Save Page Now. To domyślna pamięć sieci i pierwsze miejsce do sprawdzenia.
• Archive Team to ochotniczy kolektyw ratunkowy, który mobilizuje się, gdy usługa ogłasza zamknięcie. GeoCities w 2009, Google+ i Yahoo Groups w 2019, przechwytują, co się da, i udostępniają jako torrenty.
• Biblioteki narodowe archiwizują wybiórczo. UK Web Archive działa na podstawie egzemplarza obowiązkowego od 2013 roku; australijskie archiwum PANDORA gromadzi znaczące australijskie strony od 1996 roku.
• Common Crawl publikuje ogromne otwarte zbiory danych indeksowania od 2008 roku, bezcenne dla badaczy, ale nie ma przyjaznego interfejsu kalendarza do swobodnego przeglądania.

Warte osobnej wzmianki: archive.today, działające od 2012 roku, wykonuje migawki na żądanie i często posiada strony, które Internet Archive przeoczył, zwłaszcza te zablokowane przed indeksowaniem IA.

Co historia stron internetowych zachowała: statyczne, publiczne, popularne

Spójrz na to, co przetrwało najlepiej, a wzór się wyłania. Archiwa są stronnicze w stosunku do tego, co robot mógł osiągnąć tanio i często.

• Statyczne strony HTML z prostymi linkami, naturalny pokarm robota.
• Obrazy i pliki linkowane bezpośrednio z przechwyconej strony, przynajmniej gdy rozmiary plików były rozsądne.
• Strony z wieloma linkami przychodzącymi, ponieważ roboty podążają za linkami, a popularne strony były stale ponownie indeksowane.
• Strony, których robots.txt zezwalał na indeksowanie, jeden wpis Disallow: / ukrył wszystko.
• Tekst dowolnego rodzaju. Kompresuje się doskonale i szybko się go udostępnia.

Ręcznie zakodowana osobista strona domowa z 1998 roku, fioletowe tło, licznik odwiedzin, strona z linkami, jest zwykle w pełni do odzyskania, łącznie z GIF-ami. Sklep internetowy z 2008 roku o dziesięciokrotnie większym śladzie kulturowym często już nie. Popularność i prostota pokonują wszystko inne.

Co przepadło na dobre i dlaczego

Straty skupiają się w kilku przewidywalnych kategoriach, a największa z nich to zwykły plik tekstowy. Do zmiany polityki w 2017 roku Internet Archive honorował wykluczenia robots.txt i stosował je retrospektywnie, edycja jednego pliku mogła ukryć lata istniejących przechwyceń przed publicznym widokiem. Domeny są sprzedawane, nowy właściciel nakłada restrykcyjny plik robots, a dekada historii gaśnie z dnia na dzień. Niezliczone strony zniknęły w ten sposób z archiwum, podczas gdy dane technicznie nadal istniały.

Wszystko za loginem nigdy nie było indeksowane: prywatne fora, wczesne sieci społecznościowe, społeczności tylko dla członków. Przeprojektowanie Friendstera w 2011 roku zniszczyło lata profili w jednym wdrożeniu. Dynamiczne, oparte na bazie danych strony były indeksowane niespójnie w najlepszym razie, roboty obsługują linki GET, a nie formularze POST, więc wyniki wyszukiwania, koszyki i filtrowane listy skutecznie nigdy nie istniały z punktu widzenia archiwów.

Ciężkie multimedia radziły sobie też źle. Strumieniowane audio i wideo z ery RealPlayer, aplety Java i wszystko serwowane przez dziwne protokoły były pomijane lub przechwytywane uszkodzone. Flash to słynny przypadek graniczny: pliki.swf były często zapisywane, ale przez lata pozostawały nieodtwarzalne, aż emulator Ruffle sprawił, że wiele z nich znów działało w 2020 roku. Elementy Flasha, których nikt nie przechwycił, są po prostu stracone.

Liczby są ponure nawet dla niedawnej sieci. Pew Research stwierdził w 2024 roku, że 38 procent stron, które istniały w 2013 roku, nie było już dostępnych. Badanie Harvardu dotyczące gnicia linków wykazało, że około połowa adresów URL cytowanych w orzeczeniach Sądu Najwyższego USA już nie działa. Ochrona jest wyjątkiem. Zanik jest normą.

Dlaczego dynamiczne strony zepsuły archiwizację

Robot pobiera adresy URL. Na tym polega cała sztuczka. Forum phpBB z 2005 roku lub sklep osCommerce to nie zbiór adresów URL, to baza danych przebrana za adresy URL, generująca strony na żądanie z ciągów zapytań takich jak viewtopic.php?t=4821&start=40. Przestrzeń adresów URL jest praktycznie nieskończona, więc roboty ją próbkują. Łapią strony indeksowe i te wątki, które były dobrze linkowane w danym miesiącu, a resztę pomijają.

Sesje i ciasteczka pogarszają sprawę: ten sam adres URL zwraca różną treść dla różnych odwiedzających, więc przechwycenie może zapisać wylogowany szkielet lub przekierowanie. Jest też ostry aspekt ekonomiczny, tekst jest tani w pobieraniu i przechowywaniu, multimedia nie. Ograniczone indeksowanie pomijało duże pliki, aby utrzymać koszty, dlatego tak wiele zarchiwizowanych stron ładuje się jako tekst z szarymi dziurami tam, gdzie kiedyś były obrazy.

Wynik: archiwa zazwyczaj przechowują szkielet witryny, strony główne, statyczne artykuły, kilka dobrze linkowanych wątków, ale nie żywy organizm. Pole wyszukiwania, lista członków, finalizacja zamówienia: te nigdy nie były możliwe do przechwycenia w żadnym znaczącym sensie.

Jak samodzielnie eksplorować historię stron internetowych

W przypadku konkretnej witryny proces jest krótki:

1. Wprowadź domenę w web.archive.org. Wykres powyżej kalendarza pokazuje gęstość przechwyceń według roku, intensywne lata oznaczają dokładne pokrycie.
2. Otwórz najpierw najstarsze przechwycenie, a potem idź do przodu. Wczesne przechwycenia ujawniają oryginalną strukturę i stare schematy adresów URL.
3. Polujesz na konkretny adres URL? Zapytaj indeks CDX lub wklej adres bezpośrednio w pasek Wayback, mój przewodnik po znajdowaniu każdej strony, jaką kiedykolwiek miała witryna obejmuje sztuczki API.
4. Porównaj z archive.today pod kątem wszystkiego, co Internet Archive przeoczył.
5. W przypadku materiałów sprzed 1996 roku szukaj mirrorów prowadzonych przez operatorów, kolekcji uniwersyteckich i projektów nostalgicznych, a nie formalnych archiwów.

Jeśli chcesz zobaczyć szerszy obraz, a nie jedną stronę, nasze przewodniki o tym, jak przeszukiwać historię witryny i zagłębić się w badanie historii witryny szczegółowo omawiają kalendarz, kolekcje i alternatywne archiwa.

Kiedy przeglądanie przeszłości nie wystarcza

Wayback Machine to czytelnia, a nie przycisk przywracania. W dniu, w którym potrzebujesz rzeczywistej witryny z powrotem, plików, obrazów, wewnętrznych linków działających na twojej własnej domenie, ręczne zapisywanie rozpada się po około kilkunastu stronach. Kliknij prawym przyciskiem, zapisz jako, popraw ścieżki, powtórz: to całe popołudnie na sekcję, a efektem jest folder pełen fragmentów.

Restorix istnieje właśnie do tego zadania. Wklej domenę, a darmowa wycena pokazuje dokładną liczbę zarchiwizowanych plików, całkowity rozmiar i stałą cenę, zanim cokolwiek zapłacisz. Płacisz za przywrócony plik, pierwszy plik jest darmowy, a przywracanie można filtrować według zakresu dat i czyścić, stare analityki i reklamy usunięte, linki względne, HTTPS wymuszone. Odtworzona witryna wdraża się na własnym hostingu jednym kliknięciem lub eksportuje jako strukturalne dane. Samouczek pokazuje pełny proces.

Historia stron internetowych jest niekompletna, ale to, co przetrwało, jest zazwyczaj możliwe do odzyskania, jeśli użyjesz odpowiedniego narzędzia do tego zadania.