So finden Sie alle Seiten einer Website (auch gelöschte)

Wie viele Seiten hat unsere Website? Es klingt nach einer Frage, hinter der eine Datenbank steckt. Das ist selten der Fall. Letztes Jahr war ein Kunde überzeugt, seine Website habe etwa 400 Seiten. Die Sitemap zeigte 1.900. Ein Crawl fand 3.400. Der Index der Wayback Machine listete 11.000 URLs, die die Website jemals ausgeliefert hatte – die Hälfte davon längst gelöscht. Vier Quellen, vier Antworten – und alle vier waren richtig, nur jeweils für einen anderen Ausschnitt.

Hier sind die vier Methoden, mit denen ich alle Seiten einer Website finde, was jede davon tatsächlich abdeckt und wie Sie sie zu einer bereinigten Liste zusammenführen, mit der Sie arbeiten können.

Warum es schwierig ist, alle Seiten einer Website zu finden

Es gibt keine Masterliste, es sei denn, das CMS führt zufällig eine – und selbst dann kennt es nur sich selbst. Echte Websites sammeln Seiten an, die in keinem einzelnen Inventar auftauchen: verwaiste Seiten ohne Menüverlinkung, Überbleibsel alter Migrationen, Uploads, die einmal in einer E-Mail-Kampagne verlinkt wurden, dynamisch generierte Facetten-URLs, ganze Subdomains, die jemand 2016 eingerichtet und dann vergessen hat.

Jede Methode sieht einen anderen Ausschnitt dieses Durcheinanders. Die Sitemap ist die Selbstauskunft des CMS. Ein Crawler kartiert den Linkgraphen. Die Wayback-CDX-API erinnert sich an die Vergangenheit. Die Search Console zeigt, was Google tatsächlich an Nutzer ausgeliefert hat. Keine ist vollständig; zusammen kommen sie der Wahrheit nahe.

Entscheiden Sie, wofür die Liste dienen soll, bevor Sie sie erstellen. Ein Migrationsinventar, ein SEO-Audit und die Wiederherstellung einer toten Website benötigen dasselbe Rohmaterial, aber eine unterschiedliche Bereinigung.

Die Sitemap: der schnellste Weg, alle Seiten einer Website zu finden

Beginnen Sie mit /sitemap.xml. Falls das eine 404 liefert, prüfen Sie die robots.txt auf eine Sitemap:-Anweisung – viele Websites legen die Datei unter einem ungewöhnlichen Pfad ab. WordPress Core liefert seit Version 5.5 /wp-sitemap.xml; Yoast und Rank Math erzeugen /sitemap_index.xml, das sich in Untersitemaps pro Inhaltstyp auffächert. Rufen Sie den Index ab, dann jede Untersitemap.

Das Protokoll begrenzt jede Sitemap-Datei auf 50.000 URLs und 50 MB unkomprimiert, daher verwenden große Websites immer Indexdateien – hören Sie nicht bei der ersten gefundenen Datei auf.

Nun die Einschränkungen, denn Sitemaps lügen durch Auslassung. Eine Sitemap listet nur, was das CMS kennt: keine verwaisten Medien-Uploads, keine vor Jahren gelöschten Seiten, keine Legacy-Bereiche außerhalb des CMS, nichts, was von diesem benutzerdefinierten Skript in /old-tools/ generiert wird. Und bei handgeschriebenen oder veralteten Sitemaps ist selbst die bekannte Liste Fiktion. Vergleichen Sie stichprobenartig die lastmod-Daten mit kürzlich aktualisierten Seiten; wenn sie nicht übereinstimmen, vertrauen Sie nichts.

Crawlen Sie die Website wie Googlebot

Ein Crawler startet auf der Startseite und folgt jedem sichtbaren Link, genau wie eine Suchmaschine. Screaming Frog ist der Branchenstandard und bis 500 URLs kostenlos; Sitebulb ist benutzerfreundlicher für Audits; für volle Kontrolle kostet ein kleines Python-Skript mit requests und BeautifulSoup – oder wget im Spider-Modus – nichts.

Crawling findet, was Sitemaps übersehen: paginierte Archive, die niemand in die Sitemap aufgenommen hat, Tag- und Kategorieseiten, defekte Links, die auf noch existierende Seiten zeigen, Redirect-Ketten, die Crawl-Budget verschwenden.

Seine blinden Flecken sind das Spiegelbild der Sitemap. Wenn nichts auf eine Seite verlinkt, findet der Crawler sie nie. JavaScript-gerenderte Menüs benötigen einen Headless-Browser, sonst stoppt der Crawl auf der Startseite. Und Facettennavigation – Filter, Kalender, Sortierungen – kann einen 500-Seiten-Shop in eine 500.000-URL-Crawlfalle verwandeln; legen Sie Ausschlussregeln fest, bevor Sie starten, nicht danach. Bei Websites, die Ihnen nicht gehören, halten Sie die Parallelität niedrig und respektieren Sie robots.txt.

Die Wayback-CDX-API: alle Seiten einer Website finden, Vergangenheit und Gegenwart

Das ist die Methode, die fast niemand nutzt, und diejenige, die am meisten findet. Der CDX-Server des Internet Archive listet jede URL, die er jemals für einen Host erfasst hat – einschließlich Seiten, die vor einem Jahrzehnt gelöscht wurden und die keine Live-Methode sehen kann.

Ein curl-Befehl liefert das gesamte Inventar:

curl "https://web.archive.org/cdx/search/cdx?url=example.com/*&output=text&fl=timestamp,original,statuscode&filter=statuscode:200&collapse=urlkey&from=2010&to=2020"

Die wichtigen Parameter: collapse=urlkey dedupliziert wiederholte Erfassungen derselben URL; filter=statuscode:200 entfernt 404er und Weiterleitungen; matchType=domain erweitert das Netz auf Subdomains; from und to grenzen die Jahre ein. Bei einer toten Website liegt in diesem Zeitfenster der Schatz.

Rechnen Sie mit großen Datenmengen. Ein langlebiges Forum oder ein Shop kann Millionen Zeilen zurückgeben, und Query-String-Rauschen – Session-IDs, Tracking-Parameter – bläht die Liste auf. Die API ist kostenlos, aber ratenbegrenzt; haben Sie Geduld bei großen Domains und teilen Sie umfangreiche Abfragen in jährliche Blöcke auf.

Wenn Sie die Antwort ohne die technische Umsetzung möchten, führt Restorix denselben Index für seine kostenlose Schätzung aus – geben Sie eine Domain ein, und es meldet die genaue Anzahl archivierter Dateien und die Gesamtgröße in Sekunden, ohne dass Abfragen nötig sind.

Google Search Console: alle Seiten finden, die Ihre Website Google zeigt

Für Websites, die Ihnen gehören, liefert die Search Console den einen Datensatz, den sonst niemand hat: was Google tatsächlich indexiert und ausgeliefert hat. Bestätigen Sie die Inhaberschaft und arbeiten Sie dann mit zwei Berichten.

• Leistungsbericht, Tab „Seiten“: jede URL, die eine Impression erhalten hat, exportierbar. Die Weboberfläche begrenzt Exporte auf 1.000 Zeilen; die Search Analytics API geht weit darüber hinaus, und der Bulk-Export nach BigQuery liefert täglich den vollständigen Datensatz.
• Indexierungsbericht, Seiten: indexiert vs. gecrawlt, derzeit nicht indexiert, mit Beispiel-URLs – ein schneller Überblick, wie viel der Website Google überhaupt für erhaltenswert hält.

Der einzigartige Wert sind die Impression-Daten: Seiten, die echte Nutzer erreicht haben, einschließlich verwaister Seiten, auf die nichts verlinkt. Wenn eine vergessene Landingpage immer noch dreißig Klicks pro Monat bringt, kommt sie auf die Behaltensliste. Die Bing Webmaster Tools bieten dieselben Berichte, falls Bing-Traffic für Sie relevant ist.

Zusammenführen, deduplizieren und bereinigen

Vier Quellen, vier Formate – die Zusammenführung ist der Moment, in dem der Wert entsteht. Werfen Sie alles in eine CSV-Datei und normalisieren Sie vor der Deduplizierung, sonst erscheint dieselbe Seite sechsmal in sechs Verkleidungen.

Diese Verkleidungen sind nicht hypothetisch. Eine echte Produktseite kann als https://www.example.com/page/?utm_source=newsletter, http://example.com/page, example.com/page/#comments, example.com/page?fbclid=abc123, www.example.com/page/index.html und EXAMPLE.com/page erscheinen – sechs Zeilen, ein Dokument. Groß-/Kleinschreibung, Protokoll, www, Parameter, Fragmente und Standarddateinamen müssen alle auf eine einzige kanonische Form reduziert werden, bevor der Deduplizierungslauf etwas bedeutet. Überspringen Sie das, und Ihr 11.000-URL-Inventar besteht in Wirklichkeit aus 6.000 URLs in Kostümen.

• Hostnamen in Kleinbuchstaben umwandeln; Fragmente (#section) vollständig entfernen.
• Tracking-Parameter entfernen: utm_*, fbclid, gclid, ref. Die verbleibenden Query-Parameter sortieren.
• Eine Konvention für den abschließenden Schrägstrich wählen und durchsetzen.
• Protokoll- und www-Varianten auf Ihre kanonische Form reduzieren.

Nach der Deduplizierung klassifizieren Sie jede URL: live 200, Weiterleitung, derzeit 404, aber archiviert, oder vollständig verschwunden. Dieser dritte Eimer – gelöscht, aber in den CDX-Daten vorhanden – ist der, den Migrationen vergessen und bereuen. Ein zwanzigzeiliges Python-Skript erledigt all das für die meisten Websites; Tabellenkalkulationen kommen mit bis zu einigen tausend URLs zurecht.

Kurzer Vergleich der vier Quellen:

Sie haben jede Seite gefunden – und jetzt?

Für eine Migration wird die Liste zu Ihrer Redirect-Map: Jede URL mit Impressionen in der Search Console oder Erfassungen in den CDX-Daten erhält einen 301 auf die nächstgelegene moderne Entsprechung. Für ein SEO-Audit decken die Crawl- und Indexspalten dünne Bereiche und Crawlfallen auf. Beides ist ein paar Nachmittage ehrliche Arbeit.

Wenn die Liste für eine tote Website ist, die Sie zurückhaben möchten, überspringen Sie den manuellen Wiederaufbau. Restorix stellt das Ganze aus der Wayback Machine wieder her: Die kostenlose Schätzung zeigt die genaue Dateianzahl und -größe mit einem Festpreis, Sie zahlen pro wiederhergestellter Datei, die erste ist kostenlos, und Bereinigungsoptionen entfernen alte Analytics, wandeln Links in relative um und minifizieren Assets. Das Ergebnis wird mit einem Klick auf Ihr Hosting bereitgestellt oder als XML, CSV oder JSON mit einem vollständigen Dateimanifest exportiert, falls Sie stattdessen das Rohmaterial möchten. In jedem Fall sagt Ihnen die gerade durchgeführte Bestandsaufnahme genau, was eine gute Wiederherstellung enthalten sollte.