So laden Sie eine Website von Archive.org herunter: 3 funktionierende Wege

Die Website ist weg. Das Hosting ist abgelaufen, der Kunde hatte kein Backup, und die einzige verbliebene Kopie liegt auf der Wayback Machine. Diesen Anruf habe ich öfter bekommen, als ich zählen kann, und die erste Frage ist immer dieselbe: Kann man eine Website von archive.org herunterladen und wiederherstellen?

Ja, das kann man. Es gibt drei realistische Wege: Seiten manuell speichern, ein Skript gegen den CDX-Index schreiben oder einen automatisierten Wiederherstellungsdienst das Crawlen übernehmen lassen. Sie unterscheiden sich stark im Aufwand, und die falsche Wahl kostet Sie ein Wochenende. So funktioniert jede Methode tatsächlich, mit ehrlichen Zeitangaben aus der Praxis.

Was das Herunterladen von der Wayback Machine wirklich bedeutet

Die Wayback Machine ist kein Ordner mit Websites, den Sie mit einem Klick herunterladen können. Sie ist ein riesiger Index einzelner Aufnahmen: jede Seite, jedes Bild, jedes Stylesheet und Skript wird separat gespeichert, jeweils verknüpft mit dem Zeitpunkt des Crawls. Wenn Sie eine alte Seite ansehen, holt Ihr Browser das HTML aus einer Aufnahme und die Bilder aus mehreren anderen – alles wird in Echtzeit zusammengesetzt.

Eine Website herunterzuladen bedeutet also, Hunderte oder Tausende einzelner Dateien aufzulisten, jede abzurufen und die internen Links so umzuschreiben, dass die Kopie außerhalb von archive.org funktioniert. Behalten Sie dieses Modell im Hinterkopf – es erklärt, warum jede der folgenden Methoden so funktioniert, wie sie funktioniert, und warum keine davon ein einfacher Download-Button ist.

Methode 1: Website von archive.org Seite für Seite manuell herunterladen

Der naive Ansatz – und manchmal der richtige. Sie öffnen den Snapshot in der Wayback Machine und speichern jede Seite mit Ihrem Browser. Für eine fünfseitige Broschüren-Website ist das ehrlich gesagt in Ordnung. Für alles Größere ist es eine langsame Form der Bestrafung.

1. Öffnen Sie die archivierte Seite zum gewünschten Snapshot-Datum.
2. Nutzen Sie ‚Speichern unter‘ und wählen Sie ‚Webseite, komplett‘, damit die Assets mitgespeichert werden.
3. Wiederholen Sie das für jede Seite, auch für solche, die nur über alte Menüs erreichbar sind.
4. Öffnen Sie das gespeicherte HTML und entfernen Sie das Wayback-Toolbar-Markup aus jeder Datei.
5. Korrigieren oder akzeptieren Sie die Asset-URLs, die immer noch auf web.archive.org verweisen.

Hier lauern zwei Fallen. Das gespeicherte HTML verweist bei vielen Assets auf web.archive.org, sodass Ihre Kopie sofort kaputtgeht, wenn Sie sie offline öffnen oder das Archiv einen langsamen Tag hat. Und das Toolbar-Markup, das in jede gespeicherte Seite eingebettet ist, muss von Hand Datei für Datei entfernt werden. Ich nutze diese Methode immer noch für einzelne Seiten – ein Kunde brauchte einmal nur seine alte Preisseite für einen Rechtsstreit, und ein Speichervorgang dauerte zwei Minuten. Sein 300-seitiger Shop bekam eine andere Behandlung.

• Realistischer Aufwand: 5–10 Minuten pro Seite, wenn man die Asset-Bereinigung einrechnet.
• Geeignet für: bis zu etwa 10 Seiten oder das Sichern einer bestimmten Seite als Referenz.
• Nicht mehr praktikabel bei: Dutzenden von Seiten oder immer dann, wenn Sie sauberes Original-Markup benötigen.

Methode 2: Website von archive.org mit der CDX-API herunterladen

Die CDX-API ist der Index-Endpunkt der Wayback Machine, und damit finden Sie jede Datei, die archive.org für eine Domain gespeichert hat. Eine Abfrage liefert das gesamte Verzeichnis als JSON:

web.archive.org/cdx/search/cdx?url=example.com/*&output=json&fl=timestamp,original,mimetype,statuscode&filter=statuscode:200&collapse=digest

Das liefert Ihnen Zeitstempel, Original-URLs und MIME-Typen für alles, was erfasst wurde. Der collapse-Parameter dedupliziert identische Dateien, sodass Sie nicht dasselbe Logo 400-mal herunterladen. Von dort aus geht ein kleines Skript die Liste durch und ruft jede Datei ab. Hängen Sie id_ an eine Zeitstempel-URL an – etwa /web/20150312145531id_/http://example.com/style.css – und archive.org liefert die Original-Bytes ohne das umgeschriebene Markup. Dieses eine Suffix macht den Unterschied zwischen einer sauberen Kopie und einer Seite voller Toolbar.

Die unglamourösen Teile sind es, die Ihren Abend auffressen. Archive.org drosselt aggressive Clients, also braucht das Skript höfliche Verzögerungen und Wiederholungslogik, sonst starren Sie stundenlang auf 429-Antworten. Query-String-URLs müssen dedupliziert werden, sonst verwandeln Session-IDs eine 200-seitige Website in einen Crawl mit 9.000 Dateien. Und nachdem die Dateien gelandet sind, zeigen interne Links immer noch auf die ursprüngliche Domain, also brauchen Sie einen Umschreibedurchlauf, bevor die Kopie offline ordentlich durchsuchbar ist.

• Realistischer Aufwand: 2–4 Stunden, um das Skript zu schreiben und zu debuggen, wenn Sie regelmäßig programmieren; ein Wochenende, wenn nicht. Der Crawl selbst dauert 30–90 Minuten für ein paar hundert Dateien.
• Geeignet für: Entwickler, Archivare, alle, die volle Kontrolle über jedes Byte haben wollen.
• Nicht praktikabel für: Leute, die noch nie ein Terminal geöffnet haben, und Fristen, die in Stunden gemessen werden.

Egal, was Sie skripten, testen Sie das Ergebnis so, wie es ein Besucher tun würde: Stellen Sie den Ordner mit einem beliebigen lokalen Webserver bereit und klicken Sie sich durch. Kaputte Bildpfade, Links, die ins Live-Web entkommen, und fehlende Schriftarten melden sich innerhalb von fünf Minuten Klicken – und sind ärgerlich zu entdecken, nachdem Sie die Arbeit für erledigt erklärt haben.

Methode 3: Website von archive.org automatisiert herunterladen

Der dritte Weg lässt einen Wiederherstellungsdienst das Crawlen, Asset-Matching und Link-Umschreiben übernehmen. Darauf verweise ich Kunden, wenn die Website wichtiger ist als die Lernerfahrung. Mit diesem Wiederherstellungsdienst fügen Sie die Domain ein und erhalten eine kostenlose Sofortschätzung: exakte Anzahl archivierter Dateien, Gesamtgröße und einen festen Preis, bevor Sie etwas bezahlen. Sie wählen einen Datumsbereich, stellen die gewünschten Optionen ein, und die wiederhergestellte Kopie ist bereit zum Durchstöbern – oder wird direkt per SSH, FTP oder S3 auf Ihr Hosting deployed.

• Wissenswerte Optionen: relative interne Links, Entfernen alter Analyse- und Werbecodes, Minifizierung von JS/CSS, HTTPS-Konvertierung, www- oder nicht-www-Kanonisierung.
• Die Wiederherstellung kann ein strukturiertes Manifest (JSON oder SQLite) exportieren, damit Sie genau wissen, was zurückgekommen ist.
• Fehlgeschlagene Wiederherstellungen werden automatisch Ihrem Guthaben gutgeschrieben – ohne Support-Tickets.

Der Haken ist offensichtlich: Es kostet Geld. Sie zahlen pro wiederhergestellter Datei, die erste Datei ist kostenlos, und der Preis wird zum Zeitpunkt der Schätzung festgelegt. Für einen persönlichen Blog würden Sie vielleicht lieber selbst skripten. Für den umsatzgenerierenden WooCommerce-Shop eines Kunden, der heute Abend wieder online sein muss, ist die Gebühr in der Regel der günstigste Posten im gesamten Vorfall. Deployments enthalten auch ein kleines Single-File-CMS, sodass kleinere Textkorrekturen nach der Wiederherstellung kein erneutes Hochladen erfordern.

Zeit und Aufwand im Vergleich

Beachten Sie, dass die Tabelle Ihre Zeit misst, nicht die Maschinenzeit. Ein Skript oder ein Dienst mag stundenlang an einem großen Crawl kauen, aber das tut es, während Sie schlafen. Die knappe Ressource bei jeder Wiederherstellung ist der Abend desjenigen, der sie durchführt, und genau das bewerte ich.

Fehler, die ganze Nachmittage kosten

• Sich auf Browser-Speicherungen für ganze Websites zu verlassen. Sie werden jede Seite verpassen, die Sie nicht manuell geöffnet haben, und alte Websites verstecken Seiten an Orten, von denen Sie vergessen haben, dass es sie gibt.
• Den id_-Modifikator zu ignorieren und sich dann zu wundern, warum jede HTML-Datei das Wayback-Toolbar-Markup eingebettet hat.
• Archive.org mit parallelen Anfragen zu bombardieren. Sie werden gedrosselt, und aus einer einstündigen Aufgabe werden vier.
• Den Link-Umschreibedurchlauf auszulassen. Die Kopie sieht gut aus, bis Sie irgendwo klicken.
• Davon auszugehen, dass jede Seite archiviert wurde. Prüfen Sie zuerst das CDX-Inventar, damit Lücken eine bekannte Größe sind und keine Überraschung am Ende.

Welche Methode sollten Sie wählen?

Unter zehn Seiten: Speichern Sie sie manuell und akzeptieren Sie die Markup-Macken. Sie schreiben Code und wollen Kontrolle: Erstellen Sie das CDX-Skript und planen Sie einen Abend ein. Sie brauchen die Website sauber zurück, ohne zum Teilzeit-Archivar zu werden: Nehmen Sie den automatisierten Weg – das Tutorial führt Sie in wenigen Minuten durch eine vollständige Wiederherstellung, und die kostenlose Schätzung nennt Ihnen Dateianzahl und Preis, bevor Sie sich festlegen.

Eine letzte Sache: Welchen Weg Sie auch wählen, gehen Sie ihn jetzt. Archive.org ist ein Geschenk, aber es gab schon Ausfälle und rechtlichen Druck, und ‚Ich hole es später‘ ist genau der Grund, warum Websites zweimal verloren gehen.