La storia dei siti internet: salvati, perduti e perché

Nell'aprile 2009, Yahoo annunciò la chiusura di GeoCities. Trentotto milioni di pagine utente, file MIDI, cartelli animati di lavori in corso, santuari dedicati a tutto, da X-Files ai pesci tropicali, erano destinate alla cancellazione nell'ottobre successivo. Un gruppo di volontari chiamato Archive Team passò sei mesi a scaricare tutto ciò che la loro banda permetteva e rilasciò il bottino come torrent. Una fetta del primo web sopravvisse perché degli sconosciuti decisero che doveva. La maggior parte del primo web non ebbe la stessa fortuna.

Questo è uno sguardo a ciò che è stato effettivamente preservato dei primi decenni del web, a ciò che è andato perso per sempre e alle ragioni tecniche e sociali dietro entrambi. Se stai cercando di recuperare un sito specifico, vai direttamente all'ultima sezione: quella fa per te.

La storia dei siti internet è più giovane di quanto pensi

Il web divenne pubblico nell'agosto 1991, quando Tim Berners-Lee annunciò il progetto World Wide Web dal CERN e indirizzò le persone a info.cern.ch. Nessuno lo archiviò. Non c'erano strumenti per farlo, i crawler su larga scala erano ancora lontani anni, e l'idea di preservare deliberatamente i siti web sembrava a molti un accumulo inutile.

L'Internet Archive fu fondato nel maggio 1996 da Brewster Kahle, con dati di scansione provenienti da Alexa Internet. La Wayback Machine aprì al pubblico nell'ottobre 2001, contenendo già 10 miliardi di pagine. Oggi ne contiene più di 900 miliardi. Impressionante, ma il vuoto conta. Dal 1991 al 1996 non ci fu alcuna archiviazione sistematica. Quando il CERN ripristinò il primo sito web al suo indirizzo originale nel 2013, la copia più vecchia che si riuscì a trovare risaliva al novembre 1992. L'originale del 1991, probabilmente la pagina più importante della storia del web, sopravvive solo in screenshot e ricostruzioni.

Tutto ciò che proviene da quel buco di cinque anni sopravvive per caso: un nastro di backup di un amministratore di sistema, un CD-ROM allegato a una rivista, un mirror FTP che qualcuno ha dimenticato di cancellare.

Chi ha salvato cosa: archivisti, volontari e biblioteche

Quattro gruppi hanno fatto il salvataggio, ciascuno con motivazioni e coperture diverse.

• L'Internet Archive esegue scansioni continue e accetta invii pubblici tramite Save Page Now. È la memoria predefinita del web e il primo posto dove guardare.
• Archive Team è un collettivo di soccorso volontario che si mobilita quando un servizio annuncia la chiusura. GeoCities nel 2009, Google+ e Yahoo Groups nel 2019, afferrano ciò che possono e lo rilasciano come torrent.
• Le biblioteche nazionali archiviano in modo selettivo. L'UK Web Archive opera in regime di deposito legale dal 2013; l'archivio PANDORA australiano cura siti australiani di rilievo dal 1996.
• Common Crawl pubblica enormi dataset di scansioni aperte dal 2008, preziosi per i ricercatori, ma non c'è un'interfaccia calendario amichevole per la navigazione occasionale.

Merita una menzione a parte: archive.today, attivo dal 2012, scatta istantanee su richiesta e spesso conserva pagine che l'Internet Archive ha perso, specialmente quelle bloccate dalle scansioni di IA.

Cosa ha conservato la storia dei siti internet: statico, pubblico, popolare

Guarda cosa è sopravvissuto meglio e salta fuori uno schema. Gli archivi sono sbilanciati verso tutto ciò che un crawler poteva raggiungere a basso costo e spesso.

• Pagine HTML statiche con link semplici, la dieta nativa del crawler.
• Immagini e file collegati direttamente da una pagina catturata, almeno quando le dimensioni dei file erano ragionevoli.
• Pagine con molti link in entrata, perché i crawler seguono i link e le pagine popolari venivano riscansionate costantemente.
• Siti il cui robots.txt permetteva la scansione, un singolo Disallow: / nascondeva tutto.
• Testo di qualsiasi tipo. Si comprime magnificamente e viene servito velocemente.

Una homepage personale del 1998 scritta a mano, sfondo viola, contatore visitatori, pagina dei link, di solito è recuperabile per intero, GIF incluse. Un negozio online del 2008 con un'impronta culturale dieci volte maggiore spesso non lo è. Popolarità e semplicità battono tutto il resto.

Cosa è andato perso per sempre, e perché

Le perdite si raggruppano in alcune categorie prevedibili, e la più grande è un semplice file di testo. Fino a un cambio di politica nel 2017, l'Internet Archive rispettava le esclusioni del robots.txt e le applicava retroattivamente, una modifica al file poteva nascondere anni di catture esistenti alla vista pubblica. I domini vengono venduti, il nuovo proprietario mette un file robots restrittivo, e un decennio di storia scompare da un giorno all'altro. Innumerevoli siti sono svaniti dall'archivio in questo modo mentre i dati tecnicamente esistevano ancora.

Tutto ciò che era dietro un login non è mai stato scansionato: forum privati, primi social network, comunità riservate ai membri. La riprogettazione di Friendster del 2011 cancellò anni di profili in un solo deploy. Le pagine dinamiche basate su database venivano scansionate in modo incoerente nella migliore delle ipotesi, i crawler gestiscono i link GET, non i form POST, quindi risultati di ricerca, carrelli della spesa ed elenchi filtrati di fatto non sono mai esistiti per quanto riguarda gli archivi.

Anche i media pesanti se la sono passata male. Audio e video in streaming dell'era RealPlayer, applet Java e qualsiasi cosa servita su protocolli strani venivano saltati o catturati rotti. Flash è il famoso caso limite: i file.swf venivano spesso salvati ma rimanevano ingiocabili per anni, finché l'emulatore Ruffle non ne ha fatti funzionare di nuovo molti nel 2020. I pezzi Flash che nessuno ha catturato sono semplicemente spariti.

I numeri sono cupi anche per il web recente. Pew Research ha scoperto nel 2024 che il 38 percento delle pagine esistenti nel 2013 non era più accessibile. Uno studio di Harvard sul link rot ha rilevato che circa la metà degli URL citati nelle sentenze della Corte Suprema degli Stati Uniti è già morta. La conservazione è l'eccezione. Il decadimento è la regola.

Perché i siti dinamici hanno rotto l'archiviazione

Un crawler recupera URL. Questo è tutto il trucco. Un forum phpBB del 2005 o un negozio osCommerce non è una raccolta di URL, è un database che indossa gli URL come un costume, generando pagine su richiesta da stringhe di query come viewtopic.php?t=4821&start=40. Lo spazio degli URL è effettivamente infinito, quindi i crawler lo campionano. Catturano le pagine indice e i thread che erano ben collegati quel mese, e perdono il resto.

Sessioni e cookie peggiorano la situazione: lo stesso URL restituisce contenuti diversi per visitatore, quindi una cattura può memorizzare uno stub disconnesso o un reindirizzamento. E c'è un aspetto economico brutale, il testo è economico da recuperare e archiviare, i media no. Le scansioni limitate saltavano i file grandi per contenere i costi, motivo per cui così tante pagine archiviate si caricano come testo con buchi grigi dove c'erano le immagini.

Il risultato: gli archivi di solito contengono lo scheletro di un sito, home page, articoli statici, alcuni thread ben collegati, ma non l'organismo vivente. La casella di ricerca, l'elenco dei membri, il flusso di checkout: quelli non sono mai stati catturabili in alcun senso significativo.

Come esplorare da solo la storia dei siti internet

Per un sito specifico, il flusso di lavoro è breve:

1. Inserisci il dominio su web.archive.org. Il grafico a scintilla sopra il calendario mostra la densità di cattura per anno, anni pieni significano copertura approfondita.
2. Apri prima la cattura più vecchia, poi procedi in avanti. Le prime catture rivelano la struttura originale e i vecchi schemi di URL.
3. A caccia di un URL specifico? Interroga l'indice CDX o incolla l'indirizzo direttamente nella barra di Wayback, la mia guida su trovare ogni pagina che un sito abbia mai avuto copre i trucchi dell'API.
4. Fai un controllo incrociato su archive.today per tutto ciò che l'Internet Archive ha perso.
5. Per materiale precedente al 1996, cerca mirror gestiti da operatori, collezioni universitarie e progetti nostalgici piuttosto che archivi formali.

Se vuoi il quadro generale invece di una singola pagina, le nostre guide su come cercare la cronologia di un sito web e approfondire la ricerca sulla storia dei siti web coprono in dettaglio il calendario, le collezioni e gli archivi alternativi.

Quando navigare nel passato non basta

La Wayback Machine è una sala di lettura, non un pulsante di ripristino. Il giorno in cui hai bisogno del sito vero e proprio, i file, le immagini, i link interni che funzionano sul tuo dominio, il salvataggio manuale va in pezzi dopo circa una dozzina di pagine. Tasto destro, salva con nome, correggi i percorsi, ripeti: è un pomeriggio per sezione, e il risultato è una cartella di frammenti.

Restorix esiste proprio per questo lavoro. Incolla il dominio e la stima gratuita mostra il numero esatto di file archiviati, la dimensione totale e un prezzo bloccato prima di pagare qualsiasi cosa. Paghi per file ripristinato, il primo file è gratuito, e i ripristini possono essere filtrati per intervallo di date e puliti, vecchie analitiche e pubblicità rimosse, link resi relativi, HTTPS applicato. Il sito ricostruito si distribuisce sul tuo hosting in un clic, o si esporta come dati strutturati. Il tutorial mostra l'intero flusso.

La storia dei siti internet è lacunosa, ma ciò che sopravvive è di solito recuperabile se usi lo strumento giusto per il lavoro.