Archive.org Download-Formate: WARC, CDX und einzelne Dateien

Sie haben den Crawl gefunden, auf Download geklickt und starren jetzt auf eine 900 MB große Datei mit der Endung.warc.gz, die nichts auf Ihrem Rechner öffnet. Willkommen beim am wenigsten dokumentierten Teil von Archive.org: den Formaten. Die Bibliothek liefert rohe Crawl-Daten – und rohe Crawl-Daten setzen voraus, dass Sie Ihre eigenen Werkzeuge mitbringen.

Drei Formate decken fast alles ab, was Sie jemals herunterladen werden: WARC-Dateien, JSON-CDX-Ausgabe und einfache einzelne Dateien. Hier erfahren Sie, was jedes einzelne wirklich ist, wann Sie es benötigen und wie Sie es in etwas Nützliches verwandeln – einschließlich des Tricks, wenn Sie einfach nur Ihre alte Website zurückhaben möchten.

Was ein Archive.org-Download tatsächlich enthält

Wieder zwei Speicherwelten. Item-Downloads liefern fertige Dateien – ein PDF ist ein PDF, eine ISO ist eine ISO. Wayback-seitige Downloads liefern Web-Erfassungsdaten: HTTP-Antworten zum Zeitpunkt des Crawls eingefroren, plus Indizes, die sie beschreiben. Die verwirrenden Formate stammen alle aus dieser zweiten Welt, dazu gibt es eine Einzeldatei-Notluke, die beide Welten verbindet.

Größen sind wichtig für die Planung. Ein einzelnes WARC-Segment aus einer Crawl-Sammlung ist komprimiert etwa 1 GB groß. Die CDX-Liste einer mittelgroßen Website kann 50.000 Zeilen JSON umfassen. Eine einzelne Datei ist, nun ja, eine Datei. Wählen Sie das Format passend zur Aufgabe, bevor Sie mit dem Transfer beginnen, nicht danach – ein Gigabyte noch einmal herunterzuladen, weil Sie das Falsche erwischt haben, ist ein Initiationsritus, den man sich besser spart.

WARC: Das reine Aufzeichnungsformat

WARC – Web ARChive, ISO-Standard 28500 – ist ein Container, der Datensätze aneinanderreiht. Jeder Datensatz ist ein aufgezeichneter HTTP-Austausch: die Antwort-Header gefolgt von den exakten Nutzdaten-Bytes, plus Metadaten wie Aufnahmezeitpunkt und Ziel-URL. Datensätze gibt es in verschiedenen Typen – response, resource, metadata, warcinfo – und Dateien kommen fast immer gzip-komprimiert daher, ein Datensatz pro gzip-Member, sodass Werkzeuge darin suchen können, ohne das ganze Archiv zu dekomprimieren.

• Nichts wird gerendert oder bereinigt. Sie erhalten buchstabengetreu das, was der Crawler gesehen hat, einschließlich 404-Seiten und Weiterleitungsketten.
• Ein WARC enthält tausende oft unzusammenhängende URLs aus einem Crawl – Ihre Website macht vielleicht 2 % der Datei aus.
• Sie benötigen Werkzeuge, um es zu lesen: die Python-Bibliothek warcio zur Extraktion oder ReplayWeb.page und pywb, um es als durchsuchbare Seiten wiederzugeben.

Die Extraktion mit warcio ist eine Filterscheife: Archiv öffnen, Datensätze überspringen, deren Ziel-URL außerhalb Ihrer Domain liegt, Nutzdaten unter Spiegelung der ursprünglichen Pfade auf die Festplatte schreiben, identische Digests deduplizieren. Fünfzig Zeilen Python – oder ein langer Abend, an dem man lernt, warum Leute dafür bezahlen.

Wo bekommt man eigentlich WARCs? Zwei Quellen. Archive Team-Rettungscrawls und Internet Archive-Crawl-Sammlungen liefern sie als normale Item-Dateien – suchen Sie nach.warc.gz im Download-Bereich des Items. Und wenn Sie jemals einen eigenen Crawl in Auftrag geben oder exportieren, kommt WARC zurück. Es ist der Versandcontainer der Webarchivierungswelt: hässlich, standardisiert und überall.

JSON CDX: Der Index, nicht der Inhalt

CDX ist der Zettelkatalog der Wayback Machine. Fragen Sie web.archive.org/cdx/search/cdx?url=example.com&output=json ab und Sie erhalten ein JSON-Array, in dem jede Zeile eine Aufzeichnung beschreibt: urlkey, timestamp, original URL, mimetype, statuscode, digest und byte length. Überhaupt keine Seiteninhalte – nur ein präzises Menü dessen, was existiert, Aufzeichnung für Aufzeichnung.

Zwei Flags sind bei jeder Abfrage Gold wert: filter=statuscode:200 entfernt Weiterleitungen und Fehlerseiten, und collapse=digest entfernt doppelte Aufzeichnungen identischer Inhalte. Bei einem WooCommerce-Store eines Kunden reduzierten diese beiden Flags die rohen 38.000 Zeilen auf 4.100 echte, eindeutige Seiten. Diese Liste wurde zum Wiederherstellungsplan – und zur Preisschätzung.

Wissenswerte Abfragetricks: Hängen Sie matchType=prefix an, um alle URLs unter einem Pfad abzudecken, und verwenden Sie from=2008&to=2012, um die Jahre einzugrenzen. Ein Platzhalter wie url=example.com/* impliziert bereits eine Präfix-Übereinstimmung für die gesamte Domain. Fangen Sie eng an – eine ungefilterte Domainabfrage auf einer großen Seite liefert Megabytes an JSON und einen eingefrorenen Browser-Tab.

• Eingrenzung: Wie viel von der Website jemals erfasst wurde und in welchen Jahren.
• Lückenanalyse: Finden der Bildverzeichnisse und CDN-Hosts, die nie gecrawlt wurden.
• Batch-Abruflisten: Füttern Sie die Zeitstempel-plus-URL-Paare an Ihren Downloader, jeweils eine id_-Anfrage.
• Schätzungen: Restorix liest dieselben CDX-Daten, um eine Wiederherstellung zu bepreisen – Dateianzahl, Gesamtgröße, Festpreis, vorab.

Einzelne Dateien: Der einfache Archive.org-Download

Das dritte Format ist kaum ein Format: eine Originaldatei, direkt abgerufen. Für Items ist das der Dateilink im Download-Bereich. Für Schnappschüsse ist es der id_-Trick – fügen Sie id_ nach dem Zeitstempel ein, wie in web.archive.org/web/20130501000000id_/http://example.com/logo.png, und die Wayback Machine gibt die unberührten Nutzdaten ohne Symbolleiste und ohne umgeschriebenes Markup zurück.

Greifen Sie zu einzelnen Dateien, wenn Sie bereits genau wissen, was fehlt: das Stylesheet, das nicht gecrawlt wurde, die PDF-Preisliste, das Hero-Bild, nach dem ein Kunde immer wieder fragt. Ich habe pro Projekt einen Ordner für solche Fundstücke. Was Sie nicht tun sollten, ist eine ganze Website auf diese Weise aufzubauen – 4.000 manuelle id_-Abrufe sind ein Skript, das darauf wartet, geschrieben zu werden.

Zwei Fehlermodi sollten Sie erwarten. Auf der Snapshot-Seite funktioniert id_ nur, wenn genau diese URL aufgezeichnet wurde – überprüfen Sie zuerst den CDX-Index, anstatt URLs zu raten. Auf der Item-Seite ist das direkte URL-Muster archive.org/download/{identifier}/{filename} stabil und scriptbar, aber Dateinamen mit Leerzeichen benötigen eine korrekte URL-Kodierung, sonst bekommt wget einen 404 auf eine Datei, die offensichtlich existiert.

Welches Archive.org-Downloadformat benötigen Sie?

Die ehrliche Abhängigkeitskette für eine Website-Wiederherstellung ist: zuerst CDX, dann WARC- oder id_-Abrufe, zuletzt einzelne Dateien zum Flicken von Lücken. Wenn Sie den CDX-Schritt überspringen, laden Sie ein Gigabyte Crawldaten herunter und verpassen trotzdem die Hälfte der Website. Item-Downloads liegen völlig außerhalb dieser Kette – sie sind fertige Produkte, und wenn Sie ein Buch oder einen Treiber brauchen, hören Sie auf zu lesen und klicken Sie los.

Mit dem arbeiten, was Sie heruntergeladen haben

Fallstricke, die jeden einmal erwischen. Gzip-komprimierte WARCs sind mehrteilig – ein naiver gunzip-Befehl funktioniert, aber Streaming-Reader dürfen nicht beim ersten Mitglied anhalten. Digests wiederholen sich über Aufzeichnungen hinweg, also deduplizieren Sie, bevor Sie Dateien zählen, sonst lügen Ihre Summen. Zeichenkodierungen aus dem Jahr 2004 sind nicht UTF-8; behalten Sie Bytes als Bytes bei, bis Sie dekodieren müssen. Und jede von der Wayback Machine umgeschriebene URL innerhalb erfassten HTMLs zeigt immer noch auf web.archive.org, bis Sie sie zurückumschreiben.

Planen Sie die Ausgabestruktur vor der Extraktion: spiegeln Sie die ursprünglichen URL-Pfade, führen Sie ein Manifest darüber, welcher Nutzdaten von welchem Datensatz stammen, und überschreiben Sie niemals eine Variante, die Sie später benötigen könnten. Restorix kann genau diese Art von Manifest (JSON oder SQLite) bei jeder Wiederherstellung exportieren – wenn Sie es von Hand machen, werden Sie verstehen, warum diese Funktion existiert.

Oder umgehen Sie das Format-Chaos ganz

Alles oben Genannte ist erlernbar, aber nichts davon ist eine gute Nutzung des Wochenendes eines Geschäftsinhabers. Unser Wiederherstellungsdienst existiert genau für diese Ebene: Es liest die CDX-Daten, zieht die Aufzeichnungen, dedupliziert, schreibt Links um und liefert Ihnen eine funktionierende Website. Die kostenlose Schätzung zeigt die Anzahl der archivierten Dateien, die Gesamtgröße und einen Festpreis, bevor Sie bezahlen – erste Datei kostenlos wiederhergestellt, danach pro Datei bezahlen, automatische Rückerstattung des Guthabens, falls etwas fehlschlägt.

Wiederherstellungsoptionen decken die oben genannten Schmerzpunkte eins zu eins ab: relative interne Links anstelle von archive.org-URLs, HTTPS-Umwandlung, Entfernen alter Analysen und Werbung, Beibehalten von 301-Weiterleitungen. Der Deploy erfolgt mit einem Klick per SSH/SFTP, FTP/FTPS oder S3 über das Wiederherstellungs-Dashboard, und das integrierte CMS unter /webarchive-cms.php – zufällig generiertes Passwort, Safe-Modus standardmäßig aktiviert – bedeutet, dass Sie die wiederbelebte Website bearbeiten können, ohne eine Zeile WARC-Tooling anzufassen. Formate sind etwas für Archivare. Sie wollen Ihre Website zurück.