Archive.org Tools zum Herunterladen von Websites: Ein ehrlicher Vergleich

Es gibt drei vernünftige Wege, eine Website aus der Wayback Machine zu holen, und ich habe alle bei echten Aufträgen genutzt: HTTrack, das Ruby-Gem wayback-machine-downloader und seine Skript-Verwandten sowie Restorix, den Dienst, den ich Kunden empfehle, wenn die Seite wieder funktionieren muss und nicht nur als Dateihaufen vorliegen soll.

Keines davon ist 'das Beste'. Sie lösen unterschiedliche Probleme zu unterschiedlichen Preisen, und der Preis wird meist in Stunden statt in Dollar bezahlt. Hier ist, was jedes Tool tatsächlich tut, wo es scheitert und wer welches wählen sollte. Kein werbelastiges Ranking, nur was ich habe richtig und falsch laufen sehen.

Was ein archive.org Download-Website-Tool richtig machen muss

Diese Tools nach Download-Geschwindigkeit zu beurteilen, geht am Kern vorbei. Die schwierigen Teile eines archive.org Website-Downloads sind unglamourös, und genau dort unterscheiden sich die Tools leise:

• Jede Datei finden. Der Index des Archivs ist die einzige vollständige Quelle – das Folgen von Links von der Startseite aus übersieht jede verwaiste Seite.
• Assets über Zeitstempel hinweg zuordnen. Die Seite von 2014 benötigt vielleicht das Logo aus der einzigen erhaltenen Aufnahme von 2012.
• Original-Bytes erhalten. Bei unsauberer Arbeit speichert man das Wayback-Toolbar-Markup, das in jede HTML-Datei eingebettet ist.
• Interne Links umschreiben, damit die Kopie durchsuchbar ist, ohne auf die Server von archive.org angewiesen zu sein.
• Drosselung überstehen. Archive.org drosselt ungeduldige Clients, und Wiederholungsversuche müssen höflich und geduldig sein.

Behalten Sie diese fünf Punkte im Hinterkopf. Sie erklären jede Zeile in der Vergleichstabelle unten, und die meisten schlechten Bewertungen dieser Tools lassen sich auf einen davon zurückführen.

HTTrack: kostenlos, old-school und immer noch im Einsatz

HTTrack ist der Veteran: ein kostenloser, quelloffener Offline-Browser, der seit den 1990ern Websites spiegelt. Richten Sie ihn auf eine Wayback-Machine-URL, und er folgt Links und speichert alles, was er findet, auf die Festplatte. Es gibt eine Windows-GUI, der Preis stimmt, und für einen schnellen Spiegel einer kleinen Seite funktioniert es tatsächlich.

Gegen archive.org eingesetzt, häufen sich die Einschränkungen. HTTrack weiß nichts über den Index des Archivs – es findet nur Seiten, die durch das Folgen von Links von Ihrer Start-URL aus erreichbar sind, sodass verwaiste Seiten zurückbleiben. Es greift sich die Aufnahme, zu der Wayback weiterleitet, und mischt Zeitstempel, ohne Sie zu informieren. Und seine Filterregeln erfordern echtes Feintuning: Stellen Sie sie falsch ein, und Ihr Spiegel eines Blogs von 2013 verlässt über einen Link die archivierte Version und lädt die aktuelle Live-Website herunter. Fragen Sie mich, woher ich das weiß.

Ein realistischer Benchmark: Das Spiegeln eines 40-seitigen WordPress-Blogs von 2012 über die Wayback Machine dauerte bei mir etwa 40 Minuten Einrichtung und einen zweistündigen unbeaufsichtigten Crawl, und ich verbrachte noch eine weitere Stunde damit, Live-Web-Ausreißer aus dem Ordner zu entfernen. Das ist die ehrliche Gestalt eines HTTrack-Jobs – günstig, größtenteils automatisch und nie ganz fertig, wenn der Crawl endet.

• Kosten: kostenlos.
• Aufwand: ein bis zwei Stunden, um die Filtersyntax zu lernen; Spiegel laufen dann unbeaufsichtigt.
• Am besten für: schnelle Spiegel kleiner, gut verlinkter Seiten, wenn perfekte Wiedergabetreue nicht das Ziel ist.
• Achten Sie auf: Abwandern ins Live-Web, gemischte Aufnahme-Zeitstempel und in Ihren Dateien landende umgeschriebene URLs von Wayback.

wayback-machine-downloader und der Skript-Weg

wayback-machine-downloader ist ein Ruby-Gem, das den CDX-Index des Archivs abfragt und dann jede Datei herunterlädt, die es für Ihre Domain auflistet, optional innerhalb eines Datumsbereichs. Da es den Index liest, anstatt Links zu folgen, findet es Seiten, die HTTrack nie sieht. Mehrere Python-Skripte, die auf GitHub kursieren, erledigen dieselbe Aufgabe mit unterschiedlichen Flags und unterschiedlichem Feinschliff.

Die Kompromisse sind die üblichen bei Open Source. Sie benötigen installiertes Ruby oder Python und das Selbstvertrauen, eine README zu lesen. Projekte in dieser Nische liegen oft jahrelang still, also prüfen Sie den Issue-Tracker, bevor Sie eine Deadline auf eines setzen. Und wenn der Crawl abgeschlossen ist, gehört die Zusammenbauarbeit Ihnen: Interne Links zeigen noch auf die ursprüngliche Domain, Aufnahme-Zeitstempel müssen auf Plausibilität geprüft werden, und jede Bereinigung – Entfernen alter Analytics-Tags, Korrigieren kanonischer URLs, Umstellung auf HTTPS – ist Ihr Samstagnachmittag.

• Kosten: kostenlos, plus Ihre Stunden.
• Aufwand: ein halber Tag, wenn Sie sich im Terminal wohlfühlen; der Crawl selbst läuft dann von allein.
• Am besten für: Entwickler und Archivare, die volle Kontrolle über jedes Byte wollen und das auch genießen.
• Achten Sie auf: gedrosselte Crawls ohne Wiederholungslogik, Link-Umschreiben als Hausaufgabe und Wartungslücken im Repository.

Zwei Gewohnheiten machen den Skript-Weg überlebbar. Bewahren Sie die CDX-Antwort auf, mit der Sie begonnen haben – sie dient als Manifest, wenn jemand fragt, was im Ordner sein sollte. Und servieren Sie das Ergebnis lokal, bevor Sie es als erledigt betrachten: Fünf Minuten Durchklicken der Kopie auf localhost finden fehlende Assets schneller als jede Logdatei.

Restorix: die Komplettlösung für archive.org Website-Downloads

Der Restorix-Dienst steht am bezahlten, fertigen Ende des Spektrums und ist speziell für archive.org-Wiederherstellungen gebaut, nicht für allgemeines Scraping. Sie geben die Domain ein und erhalten eine kostenlose Sofortschätzung: genaue Anzahl archivierter Dateien, Gesamtgröße und einen festen Preis. Sie wählen einen Datumsbereich und Ihre Optionen – relative interne Links, Entfernen von Analytics und Werbung, HTTPS-Konvertierung, Minifizierung von JS/CSS, www- oder nicht-www-Kanonisierung – und der Dienst übernimmt Index-Aufzählung, zeitstempelübergreifende Asset-Zuordnung, Drosselung und Link-Umschreibung.

Das Ergebnis wird als saubere, durchsuchbare Kopie heruntergeladen oder direkt auf Ihr Hosting per SSH/SFTP, FTP/FTPS oder S3 bereitgestellt, inklusive eines kleinen Ein-Datei-CMS zur nachträglichen Bearbeitung wiederhergestellter Seiten. Sie zahlen pro wiederhergestellter Datei, die erste Datei ist kostenlos, und fehlgeschlagene Wiederherstellungen werden automatisch Ihrem Guthaben gutgeschrieben. Es gibt kein Abonnement – Aufladungen sind einmalig, per Karte oder Krypto. Es ist nicht der Hobby-Weg, und es versucht auch nicht, einer zu sein.

Archive.org Download-Website-Tools im direkten Vergleich

Lesen Sie die Aufwandszeile zweimal. Jedes Tool auf dieser Liste kann letztlich denselben Ordner mit Dateien erzeugen – was Sie tatsächlich wählen, ist, wer die fummeligen 20 % der Arbeit erledigt: Sie oder etwas anderes.

Eine weitere Zeile, die die Tabelle nicht fassen kann: Risiko. Bei den kostenlosen Tools kostet Sie ein verpfuschter Job einen weiteren Abend. Bei einem kostenpflichtigen Dienst achten Sie auf die Ausfallbedingungen – automatische Rückerstattungen aufs Guthaben, ein vor Beginn festgelegter Preis und eine kostenlose Schätzung bedeuten, dass das finanzielle Risiko einer fehlgeschlagenen Wiederherstellung bei nahezu null liegt.

Welches sollten Sie wählen?

Ehrliche Orientierung. Wenn Sie eine kleine Website als Referenz spiegeln müssen und kostenlose Tools mögen, hat HTTrack sie heute Abend auf Ihrer Festplatte. Wenn Sie Code schreiben, die Rohdateien wollen und ein Wochenende Zeit haben, ist der Gem-Weg wirklich gut und wirklich kostenlos. Wenn die Website ein geschäftlicher Vermögenswert ist – der WooCommerce-Shop eines Kunden, ein Forum mit zehn Jahren Beiträgen, Ihr eigenes Lebenswerk – zahlen Sie die Gebühr pro Datei und verbringen Sie Ihren Abend mit etwas anderem. Das Tutorial zeigt den gesamten Wiederherstellungsablauf, bevor Sie einen Cent ausgeben, und die kostenlose Schätzung bedeutet, dass Sie den genauen Preis sehen können, bevor Sie etwas entscheiden.