Come trovare tutte le pagine di un sito web (anche quelle eliminate)

Quante pagine ha il nostro sito? Sembra una domanda con un database dietro. Quasi mai lo è. L'anno scorso un cliente giurava che il suo sito avesse circa 400 pagine. La sitemap ne indicava 1.900. Un crawl ne ha trovate 3.400. L'indice del Wayback Machine elencava 11.000 URL che il sito aveva servito nel tempo, metà delle quali eliminate da tempo. Quattro fonti, quattro risposte, e tutte e quattro erano corrette su cose diverse.

Ecco i quattro metodi che uso per trovare tutte le pagine di un sito web, cosa copre davvero ciascuno e come unirli in un'unica lista pulita su cui lavorare.

Perché è difficile trovare tutte le pagine di un sito web

Non esiste una lista master, a meno che il CMS non ne conservi una per caso, e anche in quel caso conosce solo se stesso. I siti reali accumulano pagine che sfuggono a qualsiasi inventario: pagine orfane a cui nessun menu rimanda, sezioni lasciate indietro da una vecchia migrazione, upload citati una volta in una campagna email, URL con facet generati al volo, interi sottodomini configurati nel 2016 e dimenticati.

Ogni metodo di discovery vede una fetta diversa di quel caos. La sitemap è l'auto-dichiarazione del CMS. Un crawler mappa il grafo dei link. L'indice CDX del Wayback Machine ricorda la storia. Search Console riporta ciò che Google ha effettivamente servito agli utenti. Nessuno è completo; insieme ci vanno vicino.

Decidi a cosa serve la lista prima di costruirla. Un inventario per migrazione, un audit SEO e un recupero di un sito morto richiedono la stessa materia prima ma una pulizia diversa.

La sitemap: il modo più veloce per trovare tutte le pagine di un sito web

Parti da /sitemap.xml. Se restituisce un 404, controlla robots.txt per una direttiva Sitemap:, molti siti parcheggiano il file in un percorso insolito. Il core di WordPress serve /wp-sitemap.xml dalla versione 5.5; Yoast e Rank Math generano /sitemap_index.xml, che si dirama in sitemap figlie per ogni tipo di contenuto. Recupera l'indice, poi ogni figlia.

Il protocollo limita ogni file sitemap a 50.000 URL e 50 MB non compressi, quindi i siti grandi usano sempre indici: non fermarti al primo file che trovi.

Ora i caveat, perché le sitemap mentono per omissione. Una sitemap elenca solo ciò che il CMS conosce: niente upload di media orfani, niente pagine eliminate anni fa, niente sezioni legacy che girano fuori dal CMS, niente di ciò che genera quello script personalizzato in /old-tools/. E sulle sitemap scritte a mano o non aggiornate, anche la lista nota è finzione. Verifica le date lastmod confrontandole con pagine che hai aggiornato di recente; se non corrispondono, non fidarti.

Fai il crawl del sito come farebbe Googlebot

Un crawler parte dalla homepage e segue ogni link che vede, proprio come fa un motore di ricerca. Screaming Frog è lo standard del settore ed è gratuito fino a 500 URL; Sitebulb è più intuitivo per gli audit; per il pieno controllo, un piccolo script Python con requests e BeautifulSoup, o wget in modalità spider, non costa nulla.

Il crawl trova ciò che le sitemap si perdono: archivi paginati che nessuno ha aggiunto alla sitemap, pagine di tag e categorie, link rotti che puntano a pagine ancora esistenti, catene di redirect che bruciano crawl budget.

I suoi punti ciechi sono l'immagine speculare di quelli della sitemap. Se niente linka una pagina, il crawler non la trova mai. I menu renderizzati in JavaScript richiedono un browser headless, altrimenti il crawl si ferma alla homepage. E la navigazione a facet, filtri, calendari, ordinamenti, può trasformare uno store da 500 pagine in una trappola da 500.000 URL; imposta regole di esclusione prima di premere start, non dopo. Su siti che non ti appartengono, mantieni la concorrenza bassa e rispetta robots.txt.

L'API CDX del Wayback Machine: trova tutte le pagine di un sito web, passate e presenti

Questo è il metodo che quasi nessuno usa e quello che trova di più. Il server CDX dell'Internet Archive elenca ogni URL che ha mai catturato per un host, comprese le pagine eliminate un decennio fa, che nessun metodo live può vedere.

Un comando curl restituisce l'inventario completo:

curl "https://web.archive.org/cdx/search/cdx?url=example.com/*&output=text&fl=timestamp,original,statuscode&filter=statuscode:200&collapse=urlkey&from=2010&to=2020"

I parametri che contano: collapse=urlkey deduplica le catture ripetute dello stesso URL; filter=statuscode:200 scarta i 404 e i redirect; matchType=domain allarga la rete ai sottodomini; from e to delimitano gli anni. Per un sito morto, quella finestra temporale è dove si trova l'oro.

Aspettati volumi elevati. Un forum o uno store di lunga data può restituire milioni di righe, e il rumore delle query string, ID di sessione, parametri di tracking, gonfia la lista. L'API è gratuita ma ha un rate limit, quindi armati di pazienza con i domini grandi e suddividi i pull più grossi in blocchi annuali.

Se vuoi la risposta senza la parte tecnica, Restorix esegue la stessa query sul suo indice per il preventivo gratuito: incolla un dominio e in pochi secondi riporta il numero esatto di file archiviati e la dimensione totale, senza scrivere una query.

Google Search Console: trova tutte le pagine che il tuo sito mostra a Google

Per i siti di tua proprietà, Search Console aggiunge l'unico dataset che nessun altro ha: ciò che Google ha effettivamente indicizzato e servito. Verifica la proprietà, poi lavora su due report.

• Report Prestazioni, scheda Pagine: ogni URL che ha ottenuto un'impressione, esportabile. L'interfaccia web limita gli export a 1.000 righe; l'API Search Analytics pagine ben oltre, e l'export in blocco su BigQuery consegna il dataset completo ogni giorno.
• Report Indicizzazione, scheda Pagine: indicizzato vs. scansionato-ma-non-indicizzato, con URL di esempio, una lettura rapida di quanta parte del sito Google si preoccupa persino di mantenere.

Il valore unico sono i dati sulle impressioni: pagine che utenti reali hanno raggiunto, comprese orfane a cui niente linka. Se una landing page dimenticata porta ancora trenta click al mese, va nella lista dei mantenuti. Bing Webmaster Tools offre gli stessi report se per te conta il traffico Bing.

Unisci, deduplica e pulisci la lista

Quattro fonti, quattro formati: il merge è dove appare il valore. Versa tutto in un unico CSV, poi normalizza prima di deduplicare, altrimenti la stessa pagina compare sei volte in sei travestimenti.

Quei travestimenti non sono ipotetici. Un'unica pagina prodotto reale può presentarsi come https://www.example.com/page/?utm_source=newsletter, http://example.com/page, example.com/page/#comments, example.com/page?fbclid=abc123, www.example.com/page/index.html e EXAMPLE.com/page, sei righe, un documento. Maiuscole/minuscole, protocollo, www, parametri, frammenti e nomi di file di default devono tutti collassare in un'unica forma canonica prima che il passaggio di dedup abbia senso. Se lo salti, il tuo inventario da 11.000 URL è in realtà 6.000 URL in maschera.

• Minuscolo sull'hostname; rimuovi del tutto i frammenti (#section).
• Elimina i parametri di tracking: utm_*, fbclid, gclid, ref. Ordina i parametri di query che restano.
• Scegli una convenzione per lo slash finale e applicala in modo coerente.
• Collassa varianti di protocollo e www nella tua forma canonica.

Dopo la dedup, classifica ogni URL: live 200, in redirect, 404 ora ma archiviato, o completamente scomparso. Quella terza categoria, eliminata ma presente nei dati CDX, è quella che le migrazioni dimenticano e di cui si pentono. Uno script Python di venti righe gestisce tutto questo per la maggior parte dei siti; i fogli di calcolo reggono fino a qualche migliaio di URL.

Confronto rapido delle quattro fonti:

Hai trovato ogni pagina, e adesso?

Per una migrazione, la lista diventa la tua mappa di redirect: ogni URL con impressioni in Search Console o catture nei dati CDX ottiene un 301 verso l'equivalente moderno più vicino. Per un audit SEO, le colonne di crawl e indice rivelano sezioni deboli e trappole di crawl. In entrambi i casi bastano un paio di pomeriggi di lavoro onesto.

Se la lista serve per riportare in vita un sito morto, salta la ricostruzione manuale. Questo servizio ripristina tutto dal Wayback Machine: il preventivo gratuito mostra il numero esatto di file e la dimensione con un prezzo bloccato, paghi per file ripristinato con il primo gratuito, e le opzioni di pulizia rimuovono i vecchi analytics, convertono i link in relativi e minificano gli asset. Il risultato si deploya sul tuo hosting in un click, o si esporta come XML, CSV o JSON con un manifest completo dei file se preferisci la materia prima. In entrambi i casi, il lavoro di enumerazione che hai appena fatto ti dice esattamente cosa dovrebbe contenere un buon ripristino.