Webartikel: Saubere Texte aus jeder Website extrahieren

Ein Kunde rief mich einmal in Panik an: Seine Agentur hatte die Firmenwebsite neu gestaltet und schlicht den Blog nicht migriert. Gut vierzig Beiträge, vier Jahre Suchmaschinenwert – einfach weg. Die Agentur hatte kein Backup. Die erste Frage, die ihnen herausrutschte, war die richtige: Können wir die Artikeltexte zurückbekommen?

Dieser Auftrag – und der deutlich kleinere Alltagsauftrag, einen sauberen Artikel von einer überladenen Seite zu retten – sind dieselbe Fähigkeit in unterschiedlichem Maßstab. Hier zeige ich, wie ich beides angehe: welche Werkzeuge wirklich funktionieren, wie man Webartikel von nicht mehr existierenden Seiten wiederherstellt und wo die rechtlichen Grenzen liegen, bevor Sie etwas erneut veröffentlichen.

Warum Extraktion schwieriger ist, als sie aussieht

Auf einer typischen Nachrichtenseite macht der Artikel weniger als ein Fünftel des HTML aus. Den Rest füllen Navigation, Seitenleisten, Cookie-Banner, Newsletter-Pop-ups, Karussells mit ähnlichen Beiträgen und Tracking-Skripte. Beim Kopieren aus dem Browser nimmt man all das mit – oder schlimmer noch, es entsteht ein wirrer Text, weil er aus verschachtelten Divs und Spans zusammengesetzt ist.

Die üblichen Hindernisse:

• JavaScript-Rendering: Das heruntergeladene HTML ist eine leere Hülle, bis die Skripte laufen
• Paginierung: Ein Artikel, der auf fünf URLs aufgeteilt ist, um Werbeeindrücke zu erzielen
• Anti-Bot-Schranken: Herausforderungen, die einfache Downloader sofort blockieren
• Lazy Loading: Bilder, die erst beim Scrollen geladen werden
• Abgeschnittener RSS-Feed: Feeds, die nach zwei Sätzen und Auslassungspunkten aufhören

Welche Methode Sie wählen, hängt vom Umfang ab: ein Artikel, eine ganze Website oder eine nicht mehr existierende Seite.

Methode 1: Lesemodus für einzelne Webartikel

Für eine einzelne Seite bauen Sie nichts Eigenes. Die Lesen-Ansicht von Firefox (F9 oder das Seiten-Symbol in der Adressleiste) reduziert eine Seite auf Überschrift, Autor und Fließtext. Safari und Edge bieten eigene Versionen, Edge liest den Artikel sogar vor. Aus dem Lesemodus kopieren Sie in Ihren Editor oder drucken als PDF für eine archivtaugliche Sicherung.

1. Artikel öffnen und Lesen-Ansicht aktivieren
2. Titel und Autor korrigieren, falls die Erkennung falsch lag
3. In den Editor kopieren oder als PDF drucken
4. Original-URL und Erfassungsdatum gemeinsam mit dem Text speichern – die Herkunft brauchen Sie später

Ein weniger bekannter Trick: Viele Seiten liefern ein Druck-Stylesheet mit. Über die Druckvorschau erhalten Sie manchmal den gesamten Artikel sauber, selbst wenn der Lesemodus versagt, und „Als PDF speichern" übernimmt die Quell-URL in die Kopfzeile, wenn Sie im Druckdialog Kopf- und Fußzeile aktivieren.

Die Grenzen sind real: nur eine Seite auf einmal, Metadaten (Autor, Datum, Schlagworte) gehen oft verloren oder sind falsch, und bei Paywall-, paginierten oder skriptlastigen Seiten scheitert das Verfahren komplett. Pocket und Instapaper erledigen dieselbe Bereinigung mit einer zusätzlichen „Später-lesen"-Schicht, praktisch zum Lesen, unbrauchbar für Massenverarbeitung.

Methode 2: Strukturierte Extraktion von Webartikeln

Ab einem Dutzend Seiten lohnt sich Handarbeit nicht mehr. Strukturierte Extraktion bedeutet, jede Seite durch eine Bibliothek laufen zu lassen, die den Artikel innerhalb der Boilerplate findet, derselbe Trick wie im Lesemodus, nur skriptfähig.

Bevor Sie Extraktionscode schreiben, prüfen Sie zwei Abkürzungen. Erstens: /wp-json/wp/v2/posts?per_page=100, wenn die Seite mit WordPress läuft, liefert diese URL jeden Beitrag als sauberes JSON, ohne Scraping. Zweitens: sitemap.xml listet die URLs der Seite, sodass Sie Artikel aufzählen können, statt blind zu crawlen. Wenn Sie crawlen, bleiben Sie höflich: eine Anfrage pro Sekunde, ein echter User-Agent-String, robots.txt respektieren, nach kanonischer URL deduplizieren.

Extraktionsfehler, die Stunden kosten

Vier Fehler verursachen den Großteil der Nacharbeit, die ich bei Extraktionsaufträgen sehe, und alle sind billiger zu vermeiden als zu beheben:

• Dem erkannten Datum vertrauen. Extraktoren greifen gerne mal das Änderungsdatum, ein Kommentar-Datum oder die Jahreszahl in der Fußzeile ab. Gegenprüfung anhand des Autors oder des Archiverfassungsdatums.
• Die kanonische URL verlieren. Speichern Sie sie gemeinsam mit dem Text. Ohne sie können Sie später weder deduplizieren, Weiterleitungen einrichten noch die Herkunft belegen.
• Listenseiten als Artikel extrahieren. Kategorie- und Tag-Seiten sehen für die Erkennung wie Inhalte aus. Filtern Sie nach URL-Muster, bevor Sie den Stapel verarbeiten – nicht danach.
• Die Zeichenkodierung ignorieren. Eine Seite von 2008 in Windows-1251 wird zu Buchstabensalat, wenn Sie UTF-8 voraussetzen, prüfen Sie den HTTP-Charset-Header, nicht nur das Meta-Tag.

Webartikel von einer toten Seite wiederherstellen

Wenn die Seite verschwunden ist, wird das Archiv zur Quelle. Die CDX-API der Wayback Machine listet jeden Snapshot unter einem Pfad auf, example.com/blog/*, und Sie können den jeweils letzten brauchbaren Snapshot jedes Beitrags abrufen, um dann dieselben Extraktionswerkzeuge auf web.archive.org-URLs anzuwenden. Es funktioniert, ist aber langsam: Das Archiv drosselt, alte Snapshots verweisen auf fehlende Bilder, und aus fünfzig Artikeln wird ein Nachmittag voller Handarbeit.

Der schnellere Weg ist, die Seite zuerst sauber wiederherzustellen. Der Dienst liefert Ihnen eine kostenlose Schätzung, genaue Anzahl der archivierten Dateien, Gesamtgröße, Festpreis, und stellt die Dateien anschließend über einen von Ihnen gewählten Zeitraum wieder her. Was die meisten übersehen: Es gibt eine Option für strukturierten Artikelexport, die den Artikeltext als XML, CSV oder JSON ausgibt, plus ein JSON- oder SQLite-Manifest jeder wiederhergestellten Datei. So kam auch der Blog von 2016 aus meiner Eingangsgeschichte zurück, 412 Dateien, 96 MB, Beiträge als CSV mit Titel, Slug, Datum und Inhalt exportiert und noch am selben Nachmittag in WordPress reimportiert. Das Tutorial führt durch den gesamten Ablauf.

Eine weitere Quelle wird oft vergessen: Google hat seine Cache-Links 2024 abgeschaltet, aber archive.today enthält häufig Seiten, die der Wayback Machine entgangen sind, besonders Nachrichtenartikel, und Bing liefert für manche Seiten weiterhin zwischengespeicherte Kopien. Ein Blick lohnt sich, bevor Sie einen Artikel für unwiederbringlich erklären.

Urheberrechtsregeln vor der Wiederveröffentlichung

Keine Rechtsberatung, nur die Grenzen, innerhalb derer Profis tatsächlich arbeiten. Fakten und Ideen sind nicht urheberrechtlich geschützt; ihre konkrete Ausdrucksform schon. Ihre eigenen Artikel dürfen Sie nutzen, wie Sie möchten. Für Texte anderer gilt:

• Auf Lizenz prüfen. Creative-Commons-Markierungen sind relevant: CC0 und CC-BY erlauben die Wiederveröffentlichung (CC-BY verlangt Namensnennung); CC-BY-NC schließt kommerzielle Nutzung aus; ohne Markierung gilt Alle Rechte vorbehalten.
• Schriftliche Genehmigung einholen, wenn keine Lizenz vorliegt. Eine E-Mail mit „Ja" schlägt jede Seite Fair-Use-Theorie.
• Fair Use ist eine Verteidigung vor Gericht, keine Erlaubnis. Es gewichtet Zweck, Umfang, Art und Marktauswirkung, und einen ganzen Artikel zu zitieren scheitert am Umfangstest fast immer.
• Quellenangabe und kanonischer Link sind guter Stil und gutes SEO. Sie heilen eine Urheberrechtsverletzung nicht.
• Bilder haben ihre eigenen Urheberrechte, getrennt vom Text. Für erneutes Hosten brauchen Sie eine eigene Genehmigung.

Eine Nuance, die Agenturen regelmäßig trifft: Von Angestellten geschaffene Werke gehören in der Regel dem Unternehmen, bei Auftragnehmern ist das aber nur so, wenn es der Vertrag vorsieht. Wenn Sie den Blog Ihres eigenen Unternehmens wiederherstellen, klären Sie, wem der Text tatsächlich gehört, bevor Sie ihn unter einer neuen Marke veröffentlichen.

Eine Wiederveröffentlichungs-Checkliste, die Sie auf der sicheren Seite hält

1. Bestätigen, dass Sie jedes Element besitzen oder lizenziert haben – Text und Bilder getrennt
2. Ursprünglichen Autornamen und Veröffentlichungsdatum beim Artikel belassen
3. Kanonische URL setzen, falls die alte Version noch irgendwo existiert
4. Alte URLs per 301 auf die neuen Adressen umleiten
5. Interne Links aktualisieren, damit sie auf erreichbare Seiten verweisen, nicht auf tote
6. Wesentliche Änderungen kennzeichnen („aktualisiert im Juli 2026"), statt die Geschichte stillschweigend umzuschreiben

Wenn Sie diese sechs Punkte beachten, gewinnt ein wiederhergestellter Blog überraschend schnell seine Suchrankings zurück, Google behandelt eine originalgetreue Wiederherstellung unter den ursprünglichen URLs als Rückkehr derselben Seite, nicht als Neustart einer anderen.