Wayback Machine: Der vollständige Leitfaden zum Durchsuchen der Web-Historie

Das Wayback Machine hat mir schon unzählige Male den Tag gerettet. Der WooCommerce-Shop eines Kunden, der durch ein fehlerhaftes Plugin-Update gelöscht wurde. Die Preisseite eines Mitbewerbers aus dem Jahr 2019, die für einen Vertragsstreit benötigt wurde. Die Originalversion eines Artikels, den jemand stillschweigend umschrieb, nachdem er in einem Rechtsstreit zitiert wurde. Es ist das Gedächtnis des Webs – und die Nutzung kostet nichts. Doch die meisten Menschen geben nur einen Begriff in das Suchfeld auf der Startseite ein und verpassen alles andere. Dieser Leitfaden erklärt, wie das Archiv tatsächlich funktioniert, welche Suchtricks sich lohnen, wo die Grenzen liegen und was zu tun ist, wenn das Durchstöbern von Snapshots nicht ausreicht und Sie die Website selbst zurückhaben möchten.

Was das Wayback Machine eigentlich ist

Das Wayback Machine ist ein kostenloses öffentliches Archiv von Webseiten, betrieben vom Internet Archive, einer gemeinnützigen digitalen Bibliothek mit Sitz in San Francisco. Brewster Kahle gründete die Organisation 1996, und das Wayback Machine wurde 2001 der Öffentlichkeit zugänglich gemacht. Der Name ist eine Anspielung auf die WABAC-Maschine, das Zeitreise-Gadget aus dem Zeichentrickfilm Peabody's Improbable History der 1960er Jahre – weshalb es auch so viele Leute fälschlicherweise als 'the way back machine' in Erinnerung haben.

Die Sammlung hat die Marke von 900 Milliarden archivierten Webseiten überschritten und wächst jede Woche um weit über eine Milliarde Seiten. Neben Webseiten speichert das Internet Archive gescannte Bücher, Fernsehnachrichten, Audio und alte Software, die Sie im Browser ausführen können. Das Durchsuchen kostet nichts und erfordert kein Konto.

Eine Unterscheidung ist vor allem anderen wichtig: Das Wayback Machine archiviert Seiten, nicht Websites. Jeder Snapshot ist eine einzelne URL, die zu einem einzigen Zeitpunkt erfasst wurde. Es gibt kein Objekt 'ganze Website, März 2015', das im Regal steht – nur Tausende einzelner Seitenaufnahmen, die zufällig eine Domain teilen. Behalten Sie das im Hinterkopf, denn es erklärt fast jede Eigenart, auf die Sie später stoßen werden.

Wie Crawls und Snapshots funktionieren

Das Archiv wird von Crawlern aufgebaut. In den ersten Jahren stützte sich das Internet Archive auf Crawl-Daten von Alexa Internet, einem von Brewster Kahle mitgegründeten Webanalyse-Unternehmen; heute betreibt es eigene Crawler, ergänzt durch Partner-Crawls und Millionen manueller Speicherungen von Nutzern. Ein Crawler ruft eine URL ab, speichert das empfangene HTML und lädt dann die darin referenzierten Assets – Bilder, Stylesheets, Skripte – herunter, die jeweils als eigene Datei gespeichert werden.

Dieses letzte Detail erklärt die häufigste Verwirrung. Ein Snapshot ist kein in der Zeit eingefrorener Ordner. Das HTML der Seite stammt vielleicht vom 3. März, das Stylesheet vom 9. März und das Hero-Bild vom 20. Februar. Wenn alles zusammenpasst, wird die Seite korrekt dargestellt. Wenn nicht, erhält man den klassischen kaputten Snapshot: Text intakt, Layout zerstört, graue Kästchen, wo die Fotos sein sollten.

Wie oft eine Seite gecrawlt wird

Es gibt keinen verlässlichen Zeitplan. Die Crawl-Häufigkeit richtet sich nach der Bedeutung: Die Startseite einer großen Zeitung wird tausende Male am Tag erfasst, während ein phpBB-Forum von 2009 vielleicht zweimal in einem Jahrzehnt auftaucht. Wenn Ihnen eine Seite wichtig ist, warten Sie nicht darauf, dass ein Crawler sie beachtet – speichern Sie sie selbst, ein Trick, der in einigen Abschnitten weiter unten beschrieben wird.

Was einen Crawl blockieren kann

Der Crawler respektiert robots.txt, und ein Ausschluss kann rückwirkend gelten: Eine Website, die eine pauschale Disallow-Anweisung für ihre Domain setzt, kann ihre gesamte Erfassungshistorie offline nehmen, bis die Sperre aufgehoben wird. Website-Betreiber können das Internet Archive auch direkt bitten, ihre Inhalte auszuschließen. Seiten hinter Logins und Paywalls werden von vornherein nie gecrawlt.

Den Kalender und die Zeitleiste lesen

Geben Sie eine URL ein und Sie landen in der Kalenderansicht. Zwei Instrumente erledigen die ganze Arbeit. Das Balkendiagramm oben zeigt die Erfassungen pro Jahr – eine schnelle Möglichkeit zu erkennen, wann eine Website aktiv war, wann sie viel Betrieb hatte und wann sie verschwand. Der Kalender darunter markiert jeden erfassten Tag des ausgewählten Jahres.

• Blauer Kreis: eine normale Erfassung, die einen 200-OK-Status zurückgab.
• Grüner Kreis: die Erfassung war eine Weiterleitung. Der Crawler ist ihr gefolgt, prüfen Sie also, wo sie gelandet ist.
• Rote Markierung: eine Fehlerantwort, normalerweise 404 oder 500. Selten lohnenswert zu öffnen.
• Größerer Kreis: mehr Erfassungen an diesem Tag. Fahren Sie mit der Maus über einen Tag, um die genauen Uhrzeiten zu sehen, klicken Sie auf einen Zeitstempel, um ihn zu öffnen.

Öffnen Sie einen Snapshot, und ein Banner erscheint oben auf der Seite. Es enthält den genauen UTC-Zeitstempel, Pfeile für die vorherige und nächste Erfassung sowie ein Panel „Über diese Erfassung“ mit Crawl-Metadaten. Wenn Sie nach einer bestimmten Änderung suchen – etwa wann ein Unternehmen seine Rückerstattungsklausel gestrichen hat – klicken Sie nicht auf zufällige Tage. Suchen Sie nach Clustern und Lücken und grenzen Sie die Änderung zwischen der letzten Erfassung, die sie noch enthält, und der ersten, die sie nicht mehr enthält, ein.

Wayback Machine-Suchsyntax, die man sich merken sollte

Das Suchfeld auf der Startseite ist der langsamste Weg. Die URL selbst ist die eigentliche Schnittstelle, und eine Handvoll Muster deckt fast alles ab, was Sie jemals brauchen werden.

Zwei davon verdienen besondere Erwähnung. Die domainweite URL-Liste ist der schnellste Weg, eine Seite zu finden, deren Adresse Sie nur halb im Gedächtnis haben – geben Sie ein Fragment des Slugs in das Filterfeld ein, und das Archiv grenzt Tausende von Pfaden auf den einen benötigten Beitrag ein. Und der id_-Modifikator ist das, was Profis verwenden, wenn sie die Datei selbst benötigen und nicht eine neu gerahmte Vorschau, denn er liefert die Original-Bytes ohne Banner und ohne einen einzigen umgeschriebenen Link.

Save Page Now und wenn es sich weigert

Das Archiv ist nicht nur ein Lesesaal. Save Page Now schreibt hinein: Fügen Sie eine beliebige öffentliche URL in web.archive.org/save ein, und ein Crawler ruft die Live-Seite innerhalb von Sekunden ab. Ein kostenloses Konto schaltet Extras frei, wie das Speichern verlinkter Seiten und ganzseitige Screenshots. Wenn Sie etwas Wichtiges veröffentlichen, ist das Speichern am selben Tag die günstigste Versicherung im Internet.

Es verweigert sich häufiger, als man denkt. Seiten, die durch robots.txt blockiert sind, werden nicht gespeichert. Die anonyme Nutzung ist ratenbegrenzt, sodass das Stapelspeichern von fünfzig Seiten hintereinander ins Stocken gerät. Login-Bildschirme werden als Login-Bildschirme gespeichert. Und schwere JavaScript-Apps werden manchmal als leere Hülle archiviert – das HTML wurde einwandfrei gespeichert, aber der Inhalt existierte nur, nachdem Skripte ausgeführt wurden, und die Skripte fragten eine API ab, die längst tot ist.

Wo das Wayback Machine an seine Grenzen stößt

• Alles, was sich hinter einem Login, einer Paywall oder einem POST-Formular befindet, wird nie archiviert.
• Interaktive Apps, die mit JavaScript rendern, überleben oft als leere Hüllen.
• Streaming-Video und -Audio lassen sich aus alten Erfassungen selten abspielen.
• Lücken. Die eine Woche, die Sie dringend benötigen, ist zuverlässig die Woche, in der niemand gecrawlt hat.
• Kein Download der gesamten Website. Sie durchsuchen eine Seite nach der anderen, wobei Links so umgeschrieben sind, dass sie zurück durch das Archiv zeigen.
• Serverseitiger Code ist für immer verloren. Snapshots enthalten gerendertes HTML; das PHP, die Datenbank und das Admin-Panel waren nie öffentlich, also wurden sie nie archiviert.

Nichts davon sind Fehler. Das Archiv wurde für die Erinnerung gebaut, nicht für die Migration – und dieser Unterschied wird wichtig, sobald Ihr Ziel vom Lesen einer alten Seite zum Wiederaufbau einer ganzen Website wechselt.

Vom Wayback Machine zur wiederhergestellten Website

Das Durchsuchen eines Snapshots beantwortet Fragen. Es liefert Ihnen keine Website. Links verweisen zurück auf archive.org, Assets werden von den Servern des Archivs ausgeliefert, und es gibt keinen Export-Button. Manuelles Kopieren funktioniert für ein oder zwei Seiten; ein 3.000-seitiger Shop, der auf diese Weise kopiert wird, kostet Sie einen Monat Ihres Lebens, den Sie nicht zurückbekommen. An diesem Punkt hören die Leute auf zu recherchieren und suchen stattdessen nach einer Wayback Machine-Wiederherstellung.

Genau diese Lücke schließt Restorix. Es zieht jede archivierte Datei einer Domain, baut funktionierende interne Links wieder auf und zeigt zuerst einen kostenlosen Kostenvoranschlag – die genaue Dateianzahl, Gesamtgröße und einen Festpreis, bevor Sie etwas bezahlen. Wiederherstellungen werden pro Datei bezahlt, die erste Datei ist kostenlos, und fehlgeschlagene Wiederherstellungen werden automatisch Ihrem Guthaben gutgeschrieben. Die Optionen decken die unglamourösen, aber wichtigen Teile ab: Entfernen alter Analyse- und Werbeskripte, Umwandeln von Links in relative Pfade, Erzwingen von HTTPS, Beibehalten von 301-Weiterleitungen und Exportieren strukturierter Artikeldaten als XML, CSV oder JSON.

Wenn die Dateien bereit sind, werden sie mit einem Klick auf Ihren eigenen VPS per SSH oder SFTP, auf Shared Hosting per FTP oder in einen S3-Bucket bereitgestellt – und jedes Deployment enthält ein kleines Einzeldatei-CMS unter /webarchive-cms.php, sodass die wiederhergestellte Website sofort bearbeitbar ist, sobald sie ankommt. Das Tutorial führt Sie in etwa zehn Minuten durch einen vollständigen Durchlauf.