Die Geschichte der Internetseiten: Gespeichert, verloren – und warum

Im April 2009 gab Yahoo bekannt, GeoCities zu schließen. Achtunddreißig Millionen Nutzerseiten – MIDI-Dateien, animierte Baustellen-Schilder, Fan-Seiten für alles von Akte X bis zu tropischen Fischen – sollten im Oktober gelöscht werden. Eine Freiwilligen-Gruppe namens Archive Team verbrachte sechs Monate damit, so viel herunterzuladen, wie ihre Bandbreite zuließ, und veröffentlichte die Ausbeute als Torrent. Ein Teil des frühen Webs überlebte, weil Fremde beschlossen, dass das so sein soll. Der Großteil des frühen Webs hatte dieses Glück nicht.

Dieser Beitrag beleuchtet, was aus den ersten Jahrzehnten des Internets tatsächlich erhalten geblieben ist, was unwiderruflich verloren ist und welche technischen und gesellschaftlichen Gründe dahinterstecken. Wenn Sie versuchen, eine bestimmte alte Website wiederzufinden, springen Sie direkt zum letzten Abschnitt – der ist für Sie.

Die Geschichte der Internetseiten ist jünger, als Sie denken

Das Web ging im August 1991 online, als Tim Berners-Lee das World-Wide-Web-Projekt am CERN ankündigte und die Leute auf info.cern.ch verwies. Niemand archivierte es. Es gab auch nichts zum Archivieren – große Web-Crawler waren noch Jahre entfernt, und die Idee, Websites bewusst zu bewahren, erschien den meisten als reines Horten.

Das Internet Archive wurde im Mai 1996 von Brewster Kahle gegründet, mit Crawl-Daten, die von Alexa Internet eintrafen. Die Wayback Machine selbst öffnete im Oktober 2001 für die Öffentlichkeit und hielt bereits 10 Milliarden Seiten. Heute sind es über 900 Milliarden. Beeindruckend – aber die Lücke zählt. Von 1991 bis 1996 gab es überhaupt kein systematisches Archivieren. Als das CERN 2013 die erste Website unter ihrer ursprünglichen Adresse wiederherstellte, war die älteste Kopie, die irgendjemand finden konnte, aus dem November 1992. Das Original von 1991 – wohl die wichtigste Seite der Webgeschichte – existiert nur in Screenshots und Rekonstruktionen.

Alles aus dieser fünfjährigen Lücke überlebte zufällig: ein Backup-Band eines Sysadmins, eine CD-ROM aus einem Magazin, ein FTP-Mirror, den jemand vergessen hatte zu löschen.

Wer hat was gerettet: Archivare, Freiwillige und Bibliotheken

Vier Gruppen haben das Retten übernommen – mit unterschiedlichen Motiven und unterschiedlicher Abdeckung.

• Das Internet Archive betreibt kontinuierliche Crawls und nimmt öffentliche Save-Page-Now-Einreichungen an. Es ist das Standard-Gedächtnis des Webs und die erste Anlaufstelle.
• Archive Team ist eine Freiwilligen-Rettungsgruppe, die mobil wird, sobald ein Dienst seine Schließung ankündigt. GeoCities 2009, Google+ und Yahoo Groups 2019 – sie holen, was sie können, und veröffentlichen es als Torrents.
• Nationalbibliotheken archivieren selektiv. Das UK Web Archive arbeitet seit 2013 unter dem Recht der Pflichtablage; das australische PANDORA-Archiv kuratiert seit 1996 bedeutende australische Websites.
• Common Crawl veröffentlicht seit 2008 riesige offene Crawl-Datensätze – unschätzbar für Forscher, aber es gibt keine komfortable Kalenderoberfläche zum bequemen Stöbern.

Eine separate Erwähnung verdient archive.today: Der seit 2012 laufende Dienst erstellt Snapshots auf Anforderung und bewahrt häufig Seiten, die das Internet Archive verpasst hat – insbesondere solche, die für IA-Crawls gesperrt waren.

Was die Geschichte der Internetseiten bewahrt hat: statisch, öffentlich, populär

Betrachtet man, was am besten überlebt hat, springt ein Muster ins Auge. Archive bevorzugen das, was ein Crawler günstig und häufig erreichen konnte.

• Statische HTML-Seiten mit einfachen Links – das native Futter der Crawler.
• Bilder und Dateien, die direkt von einer erfassten Seite verlinkt waren – zumindest wenn die Dateigrößen vernünftig waren.
• Seiten mit vielen eingehenden Links, denn Crawler folgen Links, und populäre Seiten wurden ständig neu gecrawlt.
• Websites, deren robots.txt das Crawlen erlaubte – ein einziges Disallow: / verbarg alles.
• Text jeglicher Art. Er lässt sich hervorragend komprimieren und schnell ausliefern.

Eine handcodierte persönliche Homepage aus dem Jahr 1998 – lila Hintergrund, Besucherzähler, Links-Seite – lässt sich meist vollständig wiederherstellen, GIFs inbegriffen. Ein Online-Shop aus dem Jahr 2008 mit dem zehnfachen kulturellen Fußabdruck oft nicht. Beliebtheit und Einfachheit schlagen alles andere.

Was für immer verschwunden ist – und warum

Die Verluste konzentrieren sich auf wenige vorhersehbare Kategorien, und die größte ist eine einfache Textdatei. Bis zu einer Richtlinienänderung 2017 respektierte das Internet Archive robots.txt-Ausschlüsse und wandte sie rückwirkend an – eine einzige Dateibearbeitung konnte Jahre vorhandener Erfassungen aus der öffentlichen Ansicht verbergen. Domains werden verkauft, der neue Eigentümer hinterlegt eine restriktive robots-Datei, und ein Jahrzehnt Geschichte geht über Nacht offline. Unzählige Websites verschwanden auf diese Weise aus dem Archiv, während die Daten technisch noch existieren.

Alles hinter einem Login wurde nie gecrawlt: private Foren, frühe soziale Netzwerke, geschlossene Communities. Das 2011er Redesign von Friendster löschte Jahre von Profilen in einem einzigen Deployment. Dynamische, datenbankgestützte Seiten wurden bestenfalls inkonsistent erfasst – Crawler verarbeiten GET-Links, keine POST-Formulare, sodass Suchergebnisse, Warenkörbe und gefilterte Listen für Archive praktisch nie existierten.

Auch medienlastige Inhalte hatten schlechte Karten. Streaming-Audio und -Video aus der RealPlayer-Ära, Java-Applets und alles über ungewöhnliche Protokolle Ausgelieferte wurde übersprungen oder kaputt erfasst. Flash ist der berühmte Grenzfall: Die.swf-Dateien wurden oft gespeichert, blieben aber jahrelang unspielbar, bis der Ruffle-Emulator 2020 viele davon wieder lauffähig machte. Die Flash-Inhalte, die niemand erfasst hat, sind einfach weg.

Die Zahlen sind selbst für das neuere Web niederschmetternd. Pew Research stellte 2024 fest, dass 38 Prozent der 2013 existierenden Seiten nicht mehr zugänglich waren. Eine Harvard-Studie zum Link Rot fand, dass etwa die Hälfte der in Urteilen des U.S. Supreme Court zitierten URLs bereits tot ist. Bewahrung ist die Ausnahme. Verfall ist die Regel.

Warum dynamische Websites das Archivieren sprengten

Ein Crawler ruft URLs ab. Das ist der ganze Trick. Ein phpBB-Forum aus dem Jahr 2005 oder ein osCommerce-Shop ist keine Sammlung von URLs – es ist eine Datenbank, die URLs als Kostüm trägt und Seiten on demand aus Query-Strings generiert wie viewtopic.php?t=4821&start=40. Der URL-Raum ist praktisch unendlich, also tasten Crawler ihn ab. Sie erwischen die Indexseiten und was in diesem Monat gut verlinkt war, und verpassen den Rest.

Sessions und Cookies machen es noch schlimmer: Dieselbe URL liefert pro Besucher unterschiedliche Inhalte, sodass eine Erfassung einen abgemeldeten Stub oder eine Weiterleitung speichern kann. Und es gibt einen schlichten wirtschaftlichen Aspekt – Text ist günstig abzurufen und zu speichern, Medien nicht. Gedrosselte Crawls übersprangen große Dateien, um die Kosten niedrig zu halten – weshalb so viele archivierte Seiten als Text laden, mit grauen Löchern dort, wo früher Bilder waren.

Das Ergebnis: Archive enthalten meist nur das Skelett einer Website – Startseiten, statische Artikel, einige gut verlinkte Threads –, aber nicht den lebendigen Organismus. Das Suchfeld, die Mitgliederliste, der Checkout-Prozess: Diese waren in keinem sinnvollen Sinne jemals erfassbar.

Wie Sie die Geschichte der Internetseiten selbst erkunden

Für eine bestimmte Website ist der Ablauf kurz:

1. Geben Sie die Domain bei web.archive.org ein. Die Sparkline über dem Kalender zeigt die Erfassungsdichte nach Jahr an – gut gefüllte Jahre bedeuten gründliche Abdeckung.
2. Öffnen Sie zuerst die älteste Erfassung und gehen Sie dann vorwärts. Frühe Erfassungen offenbaren die ursprüngliche Struktur und alte URL-Muster.
3. Auf der Suche nach einer bestimmten URL? Fragen Sie den CDX-Index ab oder fügen Sie die Adresse direkt in die Wayback-Leiste ein – mein Leitfaden zum Finden jeder Seite, die eine Website je hatte behandelt die API-Tricks.
4. Prüfen Sie archive.today auf alles, was das Internet Archive verpasst hat.
5. Für Material vor 1996 suchen Sie nach betreuten Mirrors, Universitätssammlungen und Nostalgie-Projekten statt nach formalen Archiven.

Wenn Sie das große Ganze statt einer einzelnen Seite sehen möchten, behandeln unsere Anleitungen zum Durchsuchen der Website-Historie und zur Recherche der Website-Historie den Kalender, Sammlungen und alternative Archive im Detail.

Wenn Stöbern in der Vergangenheit nicht reicht

Die Wayback Machine ist ein Lesesaal, kein Wiederherstellen-Knopf. Wenn Sie die tatsächliche Website zurück brauchen – die Dateien, die Bilder, interne Links, die auf Ihrer eigenen Domain funktionieren – scheitert manuelles Speichern nach etwa einem Dutzend Seiten. Rechtsklick, speichern unter, Pfade korrigieren, wiederholen: das ist ein Nachmittag pro Abschnitt, und das Ergebnis ist ein Ordner voller Fragmente.

Restorix gibt es genau für diese Aufgabe. Fügen Sie die Domain ein, und die kostenlose Schätzung zeigt die genaue Anzahl archivierter Dateien, die Gesamtgröße und einen festen Preis, bevor Sie etwas bezahlen. Sie zahlen pro wiederhergestellter Datei, die erste Datei ist kostenlos, und Wiederherstellungen lassen sich nach Datumsbereich filtern und bereinigen – alte Analytics und Werbung entfernt, Links relativ gemacht, HTTPS erzwungen. Die wiederhergestellte Website wird mit einem Klick auf Ihr eigenes Hosting deployed oder als strukturierte Daten exportiert. Das Tutorial zeigt den gesamten Ablauf.

Die Geschichte der Internetseiten ist lückenhaft, aber was überlebt, lässt sich meist wiederherstellen – wenn man das richtige Werkzeug dafür einsetzt.