Come scaricare da Archive.org: elementi, snapshot e altro

L'espressione 'scaricare da Archive.org' copre due lavori completamente diversi, e confonderli è il modo in cui si perdono interi pomeriggi. Lavoro uno: recuperare i file da un elemento, un libro, un driver, una registrazione di un concerto. Lavoro due: estrarre un sito web dal Wayback Machine. Il primo ha un pulsante per il download. Il secondo decisamente no.

Li faccio entrambi ogni settimana, per ripristini di clienti e per ricerca. Ecco ogni metodo che funziona ancora, con i compromessi reali: cosa si fa con un clic, cosa con la riga di comando, e cosa è una trappola vestita da pulsante di download.

Due modi per scaricare da Archive.org

Archive.org memorizza i contenuti come elementi, pacchetti autonomi di file con metadati, come una cartella etichettata su uno scaffale. Il Wayback Machine memorizza catture, copie con timestamp di singoli URL, servite renderizzate con link riscritti. Gli elementi sono fatti per essere scaricati. Le catture sono fatte per essere visualizzate nel browser.

Tutto ciò che puoi fare deriva da questa divisione. I download degli elementi sono supportati ufficialmente: pulsanti, torrent, una CLI, un'API per i metadati. I 'download' degli snapshot sono in realtà ricostruzioni, chiedi all'API CDX cosa esiste, recuperi i byte originali di ogni URL, poi sistemi i link. Strumenti diversi, modalità di errore diverse, budget di tempo diversi.

Non sei sicuro in quale mondo ti trovi? Guarda l'URL. archive.org/details/something è un elemento, scaricabile. web.archive.org/web/2012/http://example.com è uno snapshot, visualizzabile. Lo stesso archivio, due schemi di indirizzi, due set di regole.

Scarica gli elementi di Archive.org nel modo semplice

Apri qualsiasi pagina di un elemento e guarda la casella di download sulla destra. Ottieni i singoli file, di solito un link torrent, e a volte una scorciatoia ZIP o full-text. Per un PDF o una ISO, clicca sul file. Fatto. Questa è l'unica parte del download da Archive.org che funziona come la gente si aspetta.

• Clicca 'SHOW ALL' per vedere tutti i file nell'elemento, inclusi log e formati derivati che la casella nasconde.
• Gli URL diretti sono prevedibili: archive.org/download/{identifier}/{filename}, perfetti per script e wget.
• L'opzione torrent spesso batte l'HTTP per elementi da molti gigabyte, e riprende pulito dopo una connessione caduta.
• I derivati sono versioni generate, testo OCR, MP4 più piccoli. L'upload originale è segnalato come tale; prendi quello quando la fedeltà conta.

Un trucco in più per chi scrive script: aggiungi /metadata/{identifier} a archive.org e ottieni un elenco JSON di tutti i file, con dimensione, checksum e formato. Quel JSON è esattamente ciò che lo strumento a riga di comando consuma sotto il cofano.

Download massivi con la CLI di Internet Archive

Per più di qualche elemento, installa lo strumento ufficiale a riga di comando, il pacchetto Python internetarchive, che fornisce il comando ia. Gestisce autenticazione, ripresa e tentativi, ed è la differenza tra uno script e un weekend di clic.

1. Installa: pip install internetarchive, poi esegui ia configure una volta con il tuo account.
2. Un elemento: ia download {identifier} rispecchia l'intero elemento in una cartella locale.
3. Scegli selettivamente: ia download {identifier} --glob='*.pdf', niente più sorprese da 40 GB.
4. Intere ricerche: ia search 'collection:archiveteam AND year:2013' --itemlist > list.txt, poi esegui un ciclo di ia download su quel file.

Esistono limiti di velocità. La CLI riprova educatamente da sola; il tuo ciclo wget grezzo contro archive.org no, e martellare ti fa limitare o bloccare. Sii educato, l'archivio è una nonprofit, non una CDN.

Come scaricare gli snapshot web di Archive.org

Ora la parte difficile. Una cattura del Wayback non è un elemento, quindi non c'è una casella di download. Hai quattro strade realistiche, in ordine di impegno:

1. Singola pagina, adesso: apri lo snapshot e usa la funzione di salvataggio del browser. Va bene per una pagina; la copia salvata punta ancora i suoi asset a web.archive.org.
2. Byte originali di un singolo file: inserisci id_ dopo il timestamp nell'URL dello snapshot, web.archive.org/web/20120501000000id_/http://example.com/style.css, e ottieni il payload non modificato. Ideale per singole immagini, CSS e PDF.
3. Pull tramite script: interroga l'API CDX per ogni URL catturato sotto un percorso, poi richiedi ciascuno con il modificatore id_. Funziona, ma ora stai mantenendo uno scraper, deduplicando i digest e riscrivendo i link da solo.
4. Strumenti di download e servizi di ripristino: strumenti della community come la gem wayback-machine-downloader automatizzano il ciclo CDX-più-fetch; un servizio di ripristino come Restorix fa quello più la pulizia e il ridistribuzione.

Nota lo schema: nel momento in cui vuoi più di una pagina o due, stai scrivendo o eseguendo strumenti. Non c'è vergogna in questo, prevedilo onestamente.

Un avvertimento sul trucco id_, perché promette troppo: ti dà i byte originali di quella singola risposta, ma non sistema nulla. Una pagina scaricata con id_ contiene ancora tutti gli URL assoluti che il sito usava nel 2012, fa ancora riferimento ad asset che il crawler non ha mai preso, e presume ancora un dominio che potresti non possedere più. I byte originali sono il materiale di partenza, non il sito finito.

Elementi vs. snapshot web: quando si applica ciascuno

Quell'ultima riga sorprende le persone: quando Archive Team salva un host morente, il risultato finisce nell'archivio degli elementi come file WARC giganti. Lo stesso sito web può essere sia un download di elemento sia un set di snapshot. Controlla prima il lato elementi, un crawl pre-confezionato batte mille fetch individuali, e la nostra guida ai formati spiega cosa fare con quei WARC.

Errori di download che fanno perdere ore

• wget ricorsivo contro web.archive.org. Ogni link è riscritto per restare sul suo dominio, quindi il tuo crawler scarica felicemente l'interfaccia stessa del Wayback Machine fino alla morte termica dell'universo.
• Scaricare l'intero elemento per un solo file. Un clic su 'SHOW ALL' richiede dieci secondi; uno ZIP da 40 GB si prende la tua serata.
• Fidarsi di uno snapshot come fosse l'intero sito. Le catture sono per-URL e opportunistiche, le immagini servite da un sottodominio CDN spesso mancano del tutto.
• Ignorare i codici di stato nell'output CDX. Redirect e 404 sono archiviati anche loro; filtra per statuscode:200 e collassa i digest, o ripristinerai stub di redirect come pagine.
• Saltare i checksum. Gli elementi spediscono file md5 e sha1, verifica i download grandi prima di costruirci sopra.
• Assumere che una data di snapshot basti. La homepage del 2011 con immagini del 2009 è normale; i siti venivano crawlati a pezzi, quindi aspettati di mescolare date di cattura per ottenere un quadro completo.

Hai i file. E ora?

I download degli elementi si inseriscono direttamente nella tua libreria media o nella tua toolchain, quella parte è risolta. I pull degli snapshot sono dove inizia il vero lavoro: URL riscritti, asset mancanti, form di contatto morti, HTTP e HTTPS mescolati. Trasformare una cartella di catture del 2011 in un sito che si carica davvero è un lavoro di ricostruzione, non un lavoro di download.

Questo è il punto in cui ho smesso di scrivere script a mano e ho iniziato a indirizzare le persone verso questo servizio. Il preventivo gratuito legge l'archivio per te, conteggio esatto dei file, dimensione totale, prezzo bloccato, prima di spendere un centesimo. Primo file ripristinato gratis, paghi per file dopo, integrazioni una tantum, nessun abbonamento. Se un ripristino o un deploy fallisce, il rimborso arriva automaticamente sul tuo saldo, senza bisogno di un ticket di assistenza.

Le opzioni di ripristino coprono le parti complicate che altrimenti dovresti scriptare: rimuovi analytics e annunci, rendi i link relativi, forza HTTPS, canonicalizza www, mantieni i redirect. Il deploy con un clic spinge il risultato su SSH/SFTP, FTP o S3, e il CMS monofile incluso in /webarchive-cms.php ti permette di correggere i contenuti sul posto, il tutorial ti guida attraverso un lavoro completo. I download mettono fine alla ricerca; non mettono fine al lavoro.