Wayback-Download: Alle Methoden nach Aufwand bewertet

Die Website ist weg. Der Hoster hat sie gelöscht, die Backups sind leere Tarballs, und die einzige verbliebene Kopie der Welt liegt in der Wayback Machine. Jetzt brauchen Sie einen Wayback-Download, der tatsächlich funktioniert, und es gibt vier Wege, einen zu bekommen. Sie reichen von einem Zwei-Minuten-Browser-Trick bis zu einem Dienst, der alles für Sie erledigt, und der Aufwandsunterschied zwischen ihnen ist enorm. Hier ist jede Methode, bewertet nach dem, was sie Sie in Stunden kostet, mit den Fehlerquellen, die auf den Landingpages niemand erwähnt.

Was ein Wayback-Download tatsächlich liefert

Die Wayback Machine speichert nicht Ihre Website. Sie speichert Antworten: eine URL, ein Crawl, ein Zeitpunkt. Ihre Homepage hat vielleicht 10.000 Captures, während Ihre Datenschutzerklärung zwei hat, von 2014 und 2019. Ein Wayback-Download bedeutet, diese gespeicherten Antworten URL für URL abzurufen und zu etwas zusammenzufügen, das dem Original ähnelt.

Daraus ergeben sich zwei Konsequenzen. Erstens: Alles, was der Crawler nie gesehen hat, ist für immer verloren – keine Datenbank, kein PHP-Quellcode, kein Admin-Panel, nichts hinter einem Login. Zweitens: Jede Datei, die Sie abrufen, ist zu einem Crawl-Zeitpunkt eingefroren, den Sie nicht gewählt haben. Mischen Sie ein Stylesheet von 2016 mit einer Homepage von 2021, sieht die Seite aus wie ein Erpresserbrief, denn genau das haben Sie zusammengebaut.

Die Kalenderansicht auf jeder Snapshot-Seite macht das sichtbar. Blaue Kreise markieren Crawls, und die Lücken dazwischen können sich bei unbeliebten Seiten über Jahre erstrecken. Bevor Sie also überhaupt eine Methode wählen, wählen Sie ein Zieldatum: das Jahr, in dem die Seite so aussah, wie Sie es wünschen. Jede Entscheidung danach – welche Captures abzurufen, welchen Assets zu vertrauen – wird einfacher.

Methode 1: Eine einzelne Seite im Browser speichern

Snapshot öffnen, Strg+S drücken, „Webseite, vollständig“ wählen, fertig. Für eine Seite ist das der schnellste Wayback-Download, den es gibt. Bei mehr als etwa zehn Seiten wird es zur Selbstkasteiung, also wissen Sie, wann Sie aufhören sollten. Wenn der Browser etwas verhunzt, öffnen Sie die Entwicklertools, suchen Sie die Asset-URLs im Netzwerk-Tab und speichern Sie diese Dateien einzeln.

• Nutzen Sie den id_-Trick: Fügen Sie id_ nach dem Zeitstempel in der Snapshot-URL ein, um das originale HTML genau so zu erhalten, wie es erfasst wurde, ohne die Wayback-Toolbar und umgeschriebene Links.
• Gespeicherte Seiten verlinken ihre Assets per Hotlink zurück zu web.archive.org. Öffnen Sie die Datei offline, verschwinden die Hälfte der Bilder, es sei denn, Sie haben sie ebenfalls explizit gespeichert.
• Überprüfen Sie das Erfassungsdatum in der Kalenderansicht vor dem Speichern. Das falsche Jahr zu erwischen, ist der häufigste Anfängerfehler, und das Archiv warnt Sie selten.

Methode 2: Ein wget-Wayback-Download-Skript

Der klassische Ansatz ist wget im Spiegelmodus, gerichtet auf eine archivierte URL: wget --mirror --page-requisites --convert-links https://web.archive.org/web/2019/https://example.com. wget folgt den umgeschriebenen Links, die Wayback einfügt, was Sie innerhalb des Archivs hält, und --page-requisites holt das CSS, JavaScript und die Bilder, die jede Seite benötigt.

Für eine 40-seitige Broschüren-Website kann das an einem Abend erledigt sein. Planen Sie diesen Abend fürs Babysitten ein. archive.org drosselt aggressive Clients, also fügen Sie --wait=2 zwischen den Anfragen hinzu und rechnen Sie damit, den Befehl einige Male neu auszuführen, wenn er hängt. Ein --reject-Regex, der wget in der Nähe Ihres Ziel-Zeitstempels hält, verhindert, dass es seitwärts durch zwanzig Jahre Captures wandert.

Was Sie am Ende haben, ist ein Verzeichnis mit HTML, das immer noch die Wayback-Toolbar, Zeitstempel in jeder Asset-URL und stille Lücken enthält, wo der Crawler eine Datei verpasst hat. Diesen Haufen in eine einsatzfähige Website zu verwandeln, ist ein zweites Projekt, und das ist der Teil, den die Leute zu planen vergessen.

Methode 3: Skripting gegen die CDX-API

Wenn blindes Crawlen nicht ausreicht, gehen Sie zur Quelle. Die CDX-API liefert eine maschinenlesbare Liste aller Captures für eine URL oder Domain: web.archive.org/cdx/search/cdx?url=example.com/*&output=json&filter=statuscode:200&collapse=urlkey. Diese einzelne Anfrage ist bereits nützlicher als eine Stunde wget, denn sie sagt Ihnen, was existiert, bevor Sie etwas herunterladen.

Die Schleife ist in Python oder Node einfach: Liste lesen, jeden Capture mit dem id_-Suffix abrufen, auf die Festplatte speichern, höflich zwischen den Anfragen pausieren. Die Stärke liegt in den Filtern. Beschränken Sie nach Jahr oder MIME-Typ und verwenden Sie collapse=digest, um doppelte Captures zu verwerfen, sodass Sie jede eindeutige Datei nur einmal statt vierzig Mal abrufen.

Das ist die Methode, zu der ich bei forensischen Arbeiten greife, etwa um jedes PDF zu extrahieren, das ein Unternehmen jemals veröffentlicht hat, oder ein einzelnes Verzeichnis zu einem bestimmten Datum wiederherzustellen. Es ist auch ein echtes Programmierprojekt: Ein sorgfältiges Skript für eine mittelgroße Website ist ein Wochenende voller Schreiben, Testen und erneutem Ausführen, nachdem die Verbindung um 2 Uhr morgens abgebrochen ist.

Methode 4: Automatisierte Wiederherstellungsdienste

Die vierte Option ist, die manuelle Arbeit komplett zu überspringen. Dienste, die für diese Aufgabe gebaut wurden, fragen das Archiv ab, laden jede erfasste Datei herunter, entfernen den Wayback-Chrome, reparieren die internen Links und übergeben Ihnen eine funktionierende Website anstelle eines Ordners voller Fragmente.

Restorix ist der Dienst, zu dem ich Kunden schicke. Allein die kostenlose Schätzung ist den Klick wert: Bevor Sie etwas bezahlen, zeigt sie Ihnen die genaue Anzahl archivierter Dateien, die Gesamtgröße und einen festen Preis. Wiederherstellungen werden pro Datei abgerechnet, wobei die erste Datei kostenlos ist, und wenn eine Wiederherstellung oder Bereitstellung fehlschlägt, wird die Erstattung automatisch Ihrem Guthaben gutgeschrieben. Kein Ticket, kein Streit mit dem Support.

Im Vergleich zu den Do-it-yourself-Wegen ist der Tausch klar: eine kleine Pauschalgebühr im Austausch für Ihr Wochenende, Ihre Rate-Limit-Kopfschmerzen und Ihr Bereinigungsskript. Bei den letzten drei von mir kalkulierten Aufträgen lag die Gebühr unter dem, was zwei abrechenbare Stunden den Kunden gekostet hätten.

Die Fehler, die einen Wayback-Download ruinieren

• Query-Strings ignorieren. /page.php?id=12 und /page.php?id=13 sind unterschiedliche Captures unterschiedlicher Seiten. Überspringen Sie sie, und die Hälfte eines WordPress-Blogs oder phpBB-Forums verschwindet.
• Zeitstempel blind mischen. Eine Homepage von 2018, gerendert mit CSS von 2013, sieht aus wie eine kaputte Fotokopie. Wählen Sie ein Zieldatum und bleiben Sie innerhalb weniger Monate davon.
• Andere Hosts vergessen. Bilder auf cdn.example.com oder assets.example.net sind separate Captures unter separaten URL-Präfixen, und eine reine Website-Abfrage sieht sie nie.
• Alter Abdeckung vertrauen. Das Archiv hat jahrelang robots.txt-Ausschlüsse beachtet, sodass ganze Bereiche mancher Websites überhaupt nie erfasst wurden.
• Annehmen, der neueste Capture sei der beste. Später ist nicht immer besser. Eine Website, die erfasst wurde, nachdem sie gehackt, geparkt oder umgeleitet wurde, ist weniger wert als ein gesunder Snapshot von zwei Jahren zuvor.
• Umgeschriebenes HTML speichern. Ohne das id_-Suffix backen Sie die Wayback-Toolbar und archive.org-Links in jede Seite ein, und jemand muss sie später wieder entfernen.

Die richtige Methode für Ihre Website wählen

Ein realistisches Szenario: Die 300-seitige Marketing-Website eines Kunden stirbt ohne Backup. Methode eins kostet Sie 300 manuelle Speichervorgänge, sagen wir zehn Stunden. Methode zwei kostet einen Abend plus einen Tag Bereinigung. Methode drei kostet ein Wochenende, wenn Sie bereits programmieren können. Methode vier kostet eine Pauschalgebühr, die Sie vorher kannten, und die Website kommt bereinigt, neu verlinkt und einsatzbereit zurück. Die Stundenrechnung ist nicht subtil.

Meine Regel nach Jahren von Wiederherstellungsaufträgen: Wenn die Website wieder leben soll, gehen Sie direkt zu Methode vier, denn genau dafür ist Restorix gebaut. Wenn Sie eine Seite als Beweis oder aus Nostalgie brauchen, Methode eins. Die mittleren beiden sind für Leute, die den Weg wollen, nicht das Ziel.