Strumenti per scaricare dalla Wayback Machine: cosa funziona davvero

Cercando un downloader per la Wayback Machine si finisce sempre sugli stessi pochi strumenti che tutti usano da un decennio. Alcuni funzionano davvero. Tutti condividono gli stessi limiti. Questa è la recensione che avrei voluto leggere prima del mio primo ripristino: cosa fanno realmente gli script open-source, dove si fermano e cosa usare quando il sito deve tornare online.

Cosa fa realmente un downloader per la Wayback Machine

Ogni downloader per la Wayback Machine è lo stesso meccanismo sotto la vernice. Interroga l'API CDX per ottenere un elenco di catture, lo scorre e salva ogni file dal suo URL con timestamp. Quelli migliori aggiungono filtri per data e tipo di file e una logica di ripetizione quando archive.org inizia a limitare le richieste. Nessuno di loro accede a un backup segreto del tuo sito. Raschiano lo stesso archivio pubblico che puoi aprire subito nel browser.

Questa distinzione conta più di qualsiasi lista di funzionalità. Un downloader eredita ogni lacuna dell'archivio: le pagine mai scansionate, le immagini mai catturate, la directory bloccata da un robots.txt che qualcuno ha configurato male nel 2015. Lo strumento può solo recuperare ciò che esiste.

Anche i numeri crescono in fretta. Un sito modesto di 200 pagine, contando immagini, fogli di stile e script, diventa facilmente 2.000 file. A una richiesta al secondo, sono oltre mezz'ora di puro recupero, prima dei tentativi ripetuti, dei limiti di velocità e dei file che restituiscono 404 perché l'archivio li ha persi anni fa.

Le opzioni open-source

Tre nomi ricorrono in ogni discussione, e a ragione:

• wayback-machine-downloader, un gem Ruby. Il più conosciuto del gruppo. Un solo comando, wayback_machine_downloader http://example.com --from 2015 --to 2019, e riempie una directory ./websites con tutte le catture corrispondenti. Include un'opzione per la concorrenza e filtri per estensione dei file.
• waybackpack, uno strumento Python. Scarica le catture organizzate per timestamp, il che lo rende adatto a estrarre una specifica istantanea di una pagina, meno indicato per mirror di interi siti.
• HTTrack puntato su un URL di snapshot. Non è affatto un vero strumento per l'archivio. Segue i link riscritti che Wayback inietta nelle pagine e trascina giù un intero albero di catture. Grezzo, occasionalmente efficace su siti piccoli, e completamente confuso dalle stringhe di query.

Tutti e tre sono gratuiti. Tutti e tre sono mantenuti a ritmo amatoriale. E tutti e tre ti consegnano un mucchio di file. Cosa succede dopo è un problema tuo, e questa frase copre circa l'ottanta per cento di ciò che segue. Prima di installarne uno, leggi le issue aperte sul repository. Dieci minuti lì ti dicono più di qualsiasi post comparativo.

Cosa aspettarsi da uno script gratuito per scaricare dalla Wayback Machine

Stabilisci le aspettative prima di eseguire qualsiasi cosa. Una tipica prima sessione con un downloader gratuito per la Wayback Machine va così: trenta minuti a combattere con l'installazione di Ruby o Python, dieci minuti di progressi promettenti, poi archive.org inizia a rispondere con errori 429 e tutto rallenta fino a fermarsi. Un sito da 5.000 file a velocità di richiesta educate è un lavoro notturno, e i lavori notturni falliscono silenziosamente alle 3 del mattino.

Una prima esecuzione realistica

1. Installa il runtime e lo strumento. Risolvi i conflitti di versione che nessuno menziona nel README.
2. Esegui un piccolo test su una directory del sito per confermare il formato dell'output.
3. Avvia l'esecuzione completa e guarda arrivare i primi cento file.
4. Raggiungi i limiti di velocità, riduci la concorrenza, riavvia e spera che la logica di ripresa funzioni.
5. Apri la cartella di output e scopri la spazzatura che hai scaricato insieme all'oro.

L'output ha sempre bisogno di un triage. A meno che tu non abbia filtrato bene, ottieni ogni cattura di ogni URL: spazzatura di parametri di tracciamento, viste di stampa, pagine di errore che hanno comunque restituito uno stato 200. E a meno che lo strumento non abbia recuperato le varianti id_, i byte originali non modificati, ogni file HTML arriva con i link riscritti e la barra degli strumenti di Wayback ancora incorporati.

Un'altra sorpresa è l'organizzazione. La maggior parte degli script scarica tutto in percorsi con timestamp che rispecchiano l'archivio, non la struttura originale delle directory. Ricostruire il vero albero delle cartelle e rinominare i file come li chiamava il server è un lavoro manuale che nessuno mette in conto.

I limiti che incontrerai

• Nessuna logica di ripristino. Un downloader recupera file. Non rimuove la barra degli strumenti di Wayback, non corregge i link interni, non sceglie un host canonico e non converte nulla in HTTPS.
• Nessuna intelligenza di deduplicazione. La stessa immagine salvata sotto sei timestamp diventa sei file, a meno che tu non li comprima manualmente per digest del contenuto.
• Limiti di velocità. Se spingi troppo, archive.org ti limita o ti blocca del tutto per un po'. Le riesecuzioni sono una parte normale del flusso di lavoro, non un segno che hai sbagliato qualcosa.
• Obsolescenza delle dipendenze. Script vincolati a vecchie versioni di Ruby o Python si rompono sui sistemi moderni. Controlla la data dell'ultimo commit sul repository prima di installare qualsiasi cosa.
• Nessun supporto. Quando lo strumento si rompe, il tracciamento delle issue è il banco di supporto, e l'ultima risposta potrebbe essere di due anni fa.
• Nessun traguardo. Quando lo script termina, possiedi una cartella. Trasformare quella cartella in un sito web ospitato e funzionante è un secondo progetto di dimensioni simili.

L'alternativa chiavi in mano

L'alternativa al dover badare agli script è un servizio che considera il download come il primo passo di un ripristino, non l'intero lavoro. questo servizio inizia con una stima gratuita: conteggio esatto dei file archiviati, dimensione totale e un prezzo bloccato prima di pagare un centesimo. Da lì scarica tutto, lo pulisce e può distribuirlo direttamente sul tuo hosting via SSH, FTP o S3.

I dettagli sono pensati per questo lavoro specifico. Paghi per file ripristinato, con il primo gratuito. Se un ripristino o un deploy fallisce, il rimborso arriva automaticamente sul tuo saldo, senza bisogno di ticket di supporto. Le opzioni di ripristino rimuovono analytics e annunci, riscrivono i link in percorsi relativi e forzano HTTPS. I deploy includono un piccolo CMS a file singolo con una propria password amministrativa generata, così il sito ripristinato rimane modificabile. Nessun abbonamento: ricarichi un saldo e lo spendi.

Quando un downloader per la Wayback Machine è lo strumento sbagliato

Uno script di download è lo strumento giusto per archivi offline, dataset di ricerca e per recuperare una cartella di vecchi PDF. È lo strumento sbagliato quando:

• Il sito deve tornare online e apparire corretto
• La persona che fa il lavoro non aprirà mai un terminale
• L'archivio contiene decine di migliaia di URL, metà dei quali spazzatura di stringhe di query
• C'è una scadenza: un rilancio, una richiesta legale, un cliente che ti sta col fiato sul collo

In questi casi lo script non è più economico del servizio. Nasconde solo il conto nelle tue ore. Una stima di Restorix almeno ti dice il prezzo reale in anticipo, prima di impegnare un fine settimana per scoprirlo a tue spese. Niente di tutto ciò rende gli script cattivi. Li rende strumenti con una descrizione del lavoro, e la descrizione del lavoro finisce alla cartella.

Come scegliere

Scegli in base alla destinazione, non al download. Se l'obiettivo è una cartella di file, gli strumenti gratuiti fanno il loro dovere e lo faranno sempre. Se l'obiettivo è il sito web stesso, salta del tutto la fase della cartella e vai dritto a ciò che lo ricostruisce.