Scaricare un intero sito dalla Wayback Machine

Salvare una pagina dalla Wayback Machine richiede due minuti. Salvare l'intero sito è un lavoro completamente diverso, di quelli che ti mangiano un weekend se parti alla cieca. L'archivio non conserva il tuo sito come un pacchetto ordinato. Contiene migliaia di catture separate, ognuna congelata al proprio momento di scansione, e ricucirle in un unico sito coerente è il punto in cui la maggior parte delle persone si blocca. Questa guida illustra le insidie che fanno fallire i download di interi siti e il momento in cui l'automazione smette di essere opzionale.

Perché scaricare un sito dalla Wayback Machine è più difficile di una singola pagina

Una pagina è una cattura. Un sito è ogni URL che il crawler ha mai trovato, ognuno archiviato secondo un proprio programma. La tua homepage può avere 9.000 catture. La pagina dei resi di spedizione può averne tre, e la più recente potrebbe essere del 2017. Quando scarichi un sito dalla Wayback Machine, stai assemblando un mosaico con tessere che non sono mai state pensate per combaciare.

Gli asset peggiorano la situazione. Il logo è una cattura. Il foglio di stile è un'altra, forse di un anno diverso. L'archivio li serve con URL riscritti che funzionano solo all'interno di web.archive.org, quindi una copia ingenua del sito si rompe nel momento in cui la apri in locale. Una pagina perdona questi peccati. Cinquecento pagine li moltiplicano.

Mappa il sito prima di scaricare qualsiasi cosa

Non iniziare con wget. Inizia con l'API CDX e recupera l'inventario completo di ciò che l'archivio contiene realmente:

web.archive.org/cdx/search/cdx?url=example.com/*&matchType=prefix&output=json&collapse=urlkey&filter=statuscode:200

Quella singola richiesta ti dice quanti URL unici esistono, quali sezioni il crawler ha coperto e dove sono i buchi. In un lavoro recente, un forum phpBB del 2009, l'inventario mostrava 22.000 URL unici. Forse 1.400 di quelli erano contenuti reali. Il resto erano ID di sessione, duplicati per la stampa e pagine di calendario che nessuno ha mai letto.

Leggi l'inventario come un imprenditore

• Conta gli URL per directory. Una sezione /images corposa significa che gli asset sono sopravvissuti; una scarna significa dolori in seguito.
• Controlla la distribuzione delle date per sezione. Se il tuo blog si ferma al 2016 ma la homepage arriva al 2023, il blog è stato scollegato o bloccato, non cancellato.
• Cerca subito i pattern spazzatura: parametri di sessione, moduli di risposta, ordinamenti. Gonfiano il conteggio e il tempo di download.
• Prendi nota dei tipi MIME. Molti text/html senza voci per le immagini significa che l'archivio ha conservato lo scheletro e perso la pelle.

Se vuoi l'inventario senza scrivere una sola richiesta, la stima gratuita di Restorix mostra il numero esatto di file archiviati e la dimensione totale per un dominio prima di spendere qualsiasi cosa. Quel numero cambia il piano. Trecento file sono un pomeriggio fai-da-te. Trentamila no.

Le insidie che fanno fallire un download di sito dalla Wayback Machine

Ogni voce di questa lista mi ha bruciato almeno una volta. Nessuna è ovvia finché non sei tre ore dentro un download e l'output non ha senso.

• Storia del robots.txt. Per anni l'archivio ha rifiutato di eseguire la scansione o servire pagine bloccate dal robots.txt. Se un precedente proprietario lo ha configurato male, intere directory semplicemente non esistono nell'archivio e nessuno strumento può evocarle.
• Proliferazione di host. www.example.com, example.com, blog.example.com e il vecchio host CDN sono insiemi di catture diversi. Una query con prefisso su un host perde silenziosamente gli altri, e lo stesso fa uno script di crawling.
• http contro https. La stessa pagina sotto entrambi gli schemi è archiviata due volte, a volte con asset diversi. Scegli la variante con la copertura migliore, non quella che ricordi.
• Pagine renderizzate con JavaScript. Il crawler ha memorizzato ciò che poteva eseguire al momento della scansione. Un sito React del 2019 potrebbe tornare come un guscio di div vuoti con il contenuto reale scomparso.
• Deriva dei timestamp. File catturati nel 2014, 2017 e 2021 cuciti in un unico sito producono layout rotti e navigazione disallineata. Ancora tutto a una data obiettivo.
• La cornice di Wayback. Le istantanee servite normalmente includono la barra degli strumenti dell'archivio e i link riscritti. Recupera con il suffisso id_ sul timestamp, oppure preparati a rimuovere la cornice da ogni file che salvi.

Query string, paginazione e altre trappole degli URL

Le query string sono il punto in cui i download di interi siti falliscono silenziosamente. Per l'archivio, /shop?cat=shoes e /shop?cat=hats sono URL diversi con catture diverse. Lo stesso vale per ?page=2 e ?page=200. Un negozio WooCommerce di un cliente su cui ho lavorato aveva 4.000 URL archiviati e solo 90 prodotti reali. Il resto erano combinazioni di filtri, ordinamenti e parametri di tracciamento.

La strategia è meccanica. Recupera l'elenco CDX, raggruppa gli URL per il percorso prima del punto interrogativo e decidi quali parametri portano contenuto. ID prodotto e paginazione: tieni. ID di sessione, tag UTM e permutazioni di filtri: scarta. Sbagli in una direzione e perdi pagine reali. Sbagli nell'altra e scarichi dieci volte la spazzatura pagandola in ore.

Quando il download del tuo sito dalla Wayback Machine torna con dei buchi

Gli asset mancanti sono la regola, non l'eccezione. Aspettati lacune in:

• Immagini caricate in modo lazy e iniettate via JavaScript che il crawler non ha mai attivato
• Immagini di sfondo CSS e web font referenziati all'interno dei fogli di stile
• File video e audio, che l'archivio cattura in modo incoerente nella migliore delle ipotesi
• Font e icone caricati tramite kit di terze parti che richiedevano una chiave API attiva
• Qualsiasi cosa servita da un dominio di terze parti, una rete pubblicitaria o dietro un login

Per ogni buco le opzioni sono limitate: prova timestamp adiacenti, prova le varianti www e non-www o http e https, oppure accetta la perdita e rigenera l'asset. È qui che un manifesto si guadagna da vivere. Restorix fornisce un manifesto in file JSON o SQLite con ogni ripristino, così capire quali file mancano diventa una query di filtro invece di un pomeriggio a cliccare tra le pagine.

Quando smettere di scrivere script e automatizzare

Fai i conti onestamente. Uno script di download solido per un sito disordinato è un weekend per costruirlo e debuggarlo, più ore di riesecuzioni quando archive.org ti limita al file 8.000 su 9.000. Poi inizia l'intero secondo progetto: rimuovere le riscritture di Wayback, correggere i link interni, scegliere un host canonico, fare il deploy e testare.

L'automazione ha senso nel momento in cui il sito deve tornare a funzionare invece di esistere semplicemente sul tuo disco. Restorix gestisce il download, la pulizia e il deploy in un unico lavoro: paghi per file ripristinato, primo file gratuito, prezzo bloccato al momento della stima e rimborso automatico sul tuo saldo se qualcosa fallisce. La strada fai-da-te ha ancora senso per siti piccoli, estrazioni di ricerca e persone che apprezzano sinceramente il rompicapo. Ho fatto entrambe le strade più volte di quante possa contare, e il punto di pareggio arriva più velocemente di quanto la gente si aspetti, di solito intorno alla seconda riesecuzione.

Dai file scaricati a un sito funzionante

1. Rimuovi la barra degli strumenti di Wayback e riscrivi ogni URL archive.org in un percorso relativo.
2. Scegli un host canonico, www o non-www, e reindirizza l'altro.
3. Converti i link interni in HTTPS prima di fare il deploy ovunque di moderno.
4. Rimuovi gli script di terze parti morti: vecchi analytics, tag pubblicitari e widget social che chiamano casa.
5. Fai il deploy, poi naviga tra le prime 50 pagine con la scheda rete del browser aperta per catturare tutto ciò che restituisce ancora 404.

Due cose falliscono sempre in questa fase: i moduli di contatto e la ricerca. Entrambi dipendevano da codice lato server che l'archivio non ha mai catturato. Sostituisci i moduli con un servizio di moduli ospitato o un semplice link mailto, e scambia la ricerca del sito con un indice statico o un box di ricerca con ambito motore di ricerca.

Restorix integra tutto questo nelle opzioni di ripristino: link interni relativi, conversione HTTPS, rimozione degli analytics, deploy con un clic su SSH, FTP o S3, e un piccolo CMS incluso in modo che il sito ripristinato rimanga modificabile. Fallo a mano o lascia che lo faccia il servizio; la lista di controllo è la stessa in entrambi i casi. Cambiano solo le ore.