So laden Sie von Archive.org herunter: Objekte, Snapshots und mehr

Der Ausdruck 'Archive.org herunterladen' umfasst zwei völlig verschiedene Aufgaben, und sie zu verwechseln kostet schnell einen Nachmittag. Aufgabe eins: Dateien aus einem Objekt holen – ein Buch, ein Treiber, eine Konzertaufnahme. Aufgabe zwei: eine Website aus der Wayback Machine extrahieren. Die erste hat einen Download-Button. Die zweite ganz und gar nicht.

Ich mache beides wöchentlich, für Kundenwiederherstellungen und für Recherchen. Hier sind alle Methoden, die noch funktionieren, mit ehrlichen Abwägungen: was ein Klick ist, was eine Kommandozeile ist und was eine Falle im Gewand eines Download-Buttons.

Zwei Wege, um von Archive.org herunterzuladen

Archive.org speichert Inhalte als Objekte – in sich geschlossene Dateipakete mit Metadaten, wie ein beschrifteter Ordner im Regal. Die Wayback Machine speichert Captures – mit Zeitstempel versehene Kopien einzelner URLs, die gerendert und mit umgeschriebenen Links ausgeliefert werden. Objekte sind zum Herunterladen gemacht. Captures sind zum Betrachten im Browser gemacht.

Alles, was Sie tun können, ergibt sich aus dieser Trennung. Objekt-Downloads werden offiziell unterstützt: Buttons, Torrents, eine CLI, eine Metadaten-API. Snapshot-'Downloads' sind eigentlich Rekonstruktionen – Sie fragen die CDX-API, was existiert, holen die Original-Bytes jeder URL und reparieren dann die Links. Unterschiedliche Werkzeuge, unterschiedliche Fehlerquellen, unterschiedlicher Zeitaufwand.

Nicht sicher, in welcher Welt Sie sich befinden? Schauen Sie auf die URL. archive.org/details/etwas ist ein Objekt – herunterladbar. web.archive.org/web/2012/http://example.com ist ein Snapshot – betrachtbar. Dasselbe Archiv, zwei Adressschemata, zwei Regelwerke.

Archive.org-Objekte auf einfache Weise herunterladen

Öffnen Sie eine beliebige Objektseite und schauen Sie auf die Download-Box rechts. Sie erhalten einzelne Dateien, meist einen Torrent-Link und manchmal eine ZIP- oder Volltext-Verknüpfung. Für ein PDF oder ein ISO klicken Sie auf die Datei. Fertig. Das ist der einzige Teil des Herunterladens von Archive.org, der so funktioniert, wie die Leute es erwarten.

• Klicken Sie auf 'SHOW ALL', um alle Dateien im Objekt zu sehen, einschließlich Logs und abgeleiteter Formate, die die Box verbirgt.
• Direkte URLs sind vorhersagbar: archive.org/download/{identifier}/{filename} – perfekt für Skripte und wget.
• Die Torrent-Option schlägt HTTP oft bei mehreren Gigabyte großen Objekten und setzt nach einem Verbindungsabbruch sauber fort.
• Derivate sind generierte Versionen – OCR-Text, kleinere MP4s. Der Original-Upload ist als solcher gekennzeichnet; greifen Sie zu diesem, wenn es auf Genauigkeit ankommt.

Noch ein Trick für Skripter: Hängen Sie /metadata/{identifier} an archive.org an und Sie erhalten eine JSON-Auflistung jeder Datei, ihrer Größe, Prüfsumme und ihres Formats. Genau dieses JSON konsumiert das Kommandozeilen-Tool unter der Haube.

Massen-Downloads mit der Internet Archive CLI

Für mehr als eine Handvoll Objekte installieren Sie das offizielle Kommandozeilen-Tool – das Python-Paket internetarchive, das den Befehl ia bereitstellt. Es kümmert sich um Authentifizierung, Fortsetzen und Wiederholungen und ist der Unterschied zwischen einem Skript und einem Wochenende voller Klicks.

1. Installation: pip install internetarchive, dann führen Sie ia configure einmal mit Ihrem Account aus.
2. Ein Objekt: ia download {identifier} spiegelt das gesamte Objekt in einen lokalen Ordner.
3. Gezielt auswählen: ia download {identifier} --glob='*.pdf' – keine 40-GB-Überraschungen mehr.
4. Ganze Suchen: ia search 'collection:archiveteam AND year:2013' --itemlist > list.txt, dann ia download in einer Schleife über diese Datei laufen lassen.

Es gibt Ratenbegrenzungen. Die CLI wiederholt von selbst höflich; Ihre rohe wget-Schleife gegen archive.org tut das nicht, und Hämmern führt zu Drosselung oder Sperrung. Seien Sie der Höfliche – das Archiv ist eine gemeinnützige Organisation, kein CDN.

So laden Sie Archive.org-Web-Snapshots herunter

Jetzt die schwierige Hälfte. Ein Wayback-Capture ist kein Objekt, daher gibt es keine Download-Box. Sie haben vier realistische Wege, nach Aufwand geordnet:

1. Einzelne Seite, sofort: Öffnen Sie den Snapshot und nutzen Sie die Speichern-Funktion Ihres Browsers. Für eine Seite in Ordnung; die gespeicherte Kopie verweist bei ihren Assets weiterhin auf web.archive.org.
2. Original-Bytes einer Datei: Fügen Sie id_ nach dem Zeitstempel in die Snapshot-URL ein – web.archive.org/web/20120501000000id_/http://example.com/style.css – und Sie erhalten die unveränderte Nutzlast. Ideal für einzelne Bilder, CSS und PDFs.
3. Skriptgesteuerte Abrufe: Fragen Sie die CDX-API nach jeder erfassten URL unter einem Pfad ab und fordern Sie dann jede mit dem id_-Modifikator an. Funktioniert, aber Sie betreiben jetzt einen Scraper, deduplizieren Digests und schreiben Links selbst um.
4. Downloader-Tools und Wiederherstellungsdienste: Community-Tools wie das wayback-machine-downloader-Gem automatisieren die CDX-plus-Abruf-Schleife; ein Wiederherstellungsdienst wie Restorix erledigt das plus die Bereinigung und Neubereitstellung.

Beachten Sie das Muster: Sobald Sie mehr als ein oder zwei Seiten wollen, schreiben oder betreiben Sie Werkzeuge. Daran ist nichts Verwerfliches – planen Sie es einfach ehrlich ein.

Eine Einschränkung zum id_-Trick, denn er verspricht zu viel: Er liefert die Original-Bytes dieser einen Antwort, aber er repariert nichts. Eine mit id_ geholte Seite enthält immer noch die absoluten URLs, die die Site 2012 verwendet hat, verweist immer noch auf Assets, die der Crawler nie erfasst hat, und setzt immer noch eine Domain voraus, die Ihnen vielleicht nicht mehr gehört. Original-Bytes sind das Ausgangsmaterial, nicht die fertige Website.

Objekte vs. Web-Snapshots: Wann welches zum Einsatz kommt

Die letzte Zeile überrascht viele: Wenn das Archive Team einen sterbenden Host rettet, landet das Ergebnis als riesige WARC-Dateien im Objektarchiv. Dieselbe Website kann sowohl ein Objekt-Download als auch ein Satz Snapshots sein. Prüfen Sie zuerst die Objektseite – ein vorgepackter Crawl schlägt tausend einzelne Abrufe, und unser Formate-Guide erklärt, was mit diesen WARCs zu tun ist.

Download-Fehler, die Stunden kosten

• Rekursives wget gegen web.archive.org. Jeder Link wird umgeschrieben, um auf seiner Domain zu bleiben, sodass Ihr Crawler fröhlich die Benutzeroberfläche der Wayback Machine herunterlädt, bis zum Hitzetod des Universums.
• Das gesamte Objekt für eine Datei herunterladen. Ein Klick auf 'SHOW ALL' dauert zehn Sekunden; ein 40-GB-ZIP kostet Ihren Abend.
• Einem Snapshot als der ganzen Website vertrauen. Captures sind pro URL und opportunistisch – Bilder, die von einer CDN-Subdomain ausgeliefert werden, fehlen oft vollständig.
• Statuscodes in der CDX-Ausgabe ignorieren. Weiterleitungen und 404er werden ebenfalls archiviert; filtern Sie nach statuscode:200 und fassen Sie Digests zusammen, sonst stellen Sie Weiterleitungs-Stubs als Seiten wieder her.
• Die Prüfsummen überspringen. Objekte enthalten md5- und sha1-Dateien – überprüfen Sie große Downloads, bevor Sie darauf aufbauen.
• Annehmen, dass ein Snapshot-Datum ausreicht. Die Homepage von 2011 mit Bildern von 2009 ist normal; Websites wurden stückweise gecrawlt, also rechnen Sie damit, Capture-Daten zu mischen, um ein vollständiges Bild zu erhalten.

Sie haben die Dateien. Und jetzt?

Objekt-Downloads fügen sich direkt in Ihre Mediathek oder Toolchain ein – dieser Teil ist gelöst. Bei Snapshot-Abrufen beginnt die eigentliche Arbeit: umgeschriebene URLs, fehlende Assets, tote Kontaktformulare, gemischtes HTTP und HTTPS. Einen Ordner mit Captures von 2011 in eine tatsächlich ladende Website zu verwandeln, ist ein Wiederaufbau-Job, kein Download-Job.

An diesem Punkt habe ich aufgehört, Skripte von Hand zu schreiben, und verweise die Leute auf den Website-Restore-Service. Der kostenlose Kostenvoranschlag liest das Archiv für Sie aus – genaue Dateianzahl, Gesamtgröße, Festpreis – bevor Sie einen Cent ausgeben. Erste Datei kostenlos wiederhergestellt, danach pro Datei bezahlen, einmalige Aufladungen, kein Abonnement. Wenn eine Wiederherstellung oder Bereitstellung fehlschlägt, wird die Erstattung automatisch Ihrem Guthaben gutgeschrieben, kein Support-Ticket nötig.

Die Wiederherstellungsoptionen decken die kniffligen Teile ab, die Sie sonst skripten müssten: Analytics und Werbung entfernen, Links relativ machen, HTTPS erzwingen, www kanonisieren, Weiterleitungen beibehalten. Ein-Klick-Deployment schiebt das Ergebnis per SSH/SFTP, FTP oder S3, und das mitgelieferte Einzeldatei-CMS unter /webarchive-cms.php erlaubt es Ihnen, Inhalte direkt zu bearbeiten – das Tutorial führt durch einen kompletten Auftrag. Downloads beenden die Suche; sie beenden nicht die Arbeit.