Il web storico come risorsa per la ricerca: cosa regge

Qualche anno fa, un'azienda ha risolto una brutta disputa sul marchio con un'unica prova: ciò che diceva la propria homepage nel 2003. La controparte insinuava che lo screenshot fosse stato fabbricato. Quell'argomento è crollato nel momento in cui il ricorrente ha prodotto la corrispondente cattura della Wayback Machine, completa di timestamp della scansione e una dichiarazione giurata dell'Internet Archive. Caso chiuso. Ecco il web storico che fa il suo lavoro.

I ricercatori recuperano vecchie pagine per le citazioni. I giornalisti le recuperano per scovare cancellazioni silenziose. Gli avvocati le recuperano per dimostrare cosa diceva un contratto, una vetrina o una dichiarazione pubblica in un giorno specifico. Il materiale è tutto lì, centinaia di miliardi di catture, ma usarlo bene richiede attenzione. Gli archivi hanno lacune, le catture hanno stranezze e non tutti i timestamp significano ciò che pensi.

Cos'è realmente il web storico

Il web storico non è una registrazione di internet. È un'enorme pila di fotografie fisse. I crawler visitano un URL, salvano ciò che il server restituisce e passano oltre. Settimane o mesi dopo tornano e ripetono l'operazione. Ciò che navighi su web.archive.org è quella pila, ordinata per URL e data, che risale fino al 1996.

La Wayback Machine dell'Internet Archive è di gran lunga la fonte più grande, ma non è l'unica. Common Crawl pubblica dati grezzi di scansione per ricerche su larga scala. Archive.today scatta istantanee su richiesta di singole pagine. Perma.cc, gestito da una biblioteca di Harvard, esiste affinché tribunali e riviste ottengano citazioni che non possono marcire. Le biblioteche nazionali gestiscono le proprie collezioni in base alle norme sul deposito legale, e alcune di queste collezioni sono enormi.

Ne derivano due implicazioni. Primo, la copertura è disomogenea: una homepage famosa può avere migliaia di catture mentre una pagina interna oscura ne ha tre. Secondo, ogni cattura è un campione prelevato al momento della scansione. Non è la pagina live, e non è necessariamente la pagina come l'ha vista un visitatore umano.

Chi usa il web storico e perché

Quattro gruppi fanno la maggior parte del lavoro pesante, e ciascuno cerca qualcosa di leggermente diverso dalla stessa pila di istantanee.

• Accademici. Gli studi sulle citazioni continuano a scoprire che una quota deprimente di link in articoli pubblicati muore nel giro di pochi anni, il fenomeno ha un suo nome, reference rot. Gli studiosi ora archiviano le fonti prima di citarle, e molti studiano il web storico stesso come dataset.
• Giornalisti. Comunicati stampa cancellati, dichiarazioni modificate silenziosamente, affermazioni sui prodotti che scompaiono dopo un richiamo. I reporter di settore controllano l'archivio come controllano i documenti pubblici.
• Avvocati e paralegali. Primo uso di un marchio, diffamazione, vecchi termini di servizio, cosa prometteva una pagina prodotto prima del danno. Le pagine archiviate compaiono costantemente nelle controversie.
• Proprietari di siti e SEO. Recuperare un sito morto, verificare un dominio prima di acquistarlo, controllare com'era il funnel di un concorrente tre riprogettazioni fa.

Valutare la qualità della conservazione prima di fidarsi di una cattura

Non tutte le catture sono uguali. Una cattura del 2015 di un articolo di notizie potrebbe essere la pagina completa con foto. Una cattura del 2018 dello stesso URL potrebbe essere uno scheletro HTML nudo, perché il sito è passato a un framework JavaScript che renderizza i contenuti lato client e il crawler ha salvato l'involucro ma non i dati. Apri la cattura e guardala prima di citarla. Ogni volta.

1. Le immagini si caricano? Foto mancanti significano che il crawler ha ottenuto l'HTML ma non gli asset, o che gli asset erano bloccati.
2. La pagina ha uno stile? Una pagina senza stile significa CSS mancante, il che di solito indica che la cattura è parziale.
3. I link interni rimandano ad altre pagine archiviate? Cliccane due o tre. I vicoli ciechi indicano che la scansione è stata superficiale.
4. Controlla il calendario intorno alla tua data. Anni di cattura radi vicino alla tua istantanea rendono più probabile una cattura scarna.
5. Cerca contenuti di terze parti incorporati, tweet, video, iframe, mappe. Sono URL separati con catture separate, e sono la prima cosa a scomparire.

Un'altra sottigliezza: la coerenza temporale. L'archivio assembla una pagina dalla cattura più vicina di ciascun file, e quei file possono essere distanti giorni o settimane. L'HTML potrebbe essere del 4 marzo mentre l'immagine hero proviene dal 19 febbraio. Per la maggior parte delle ricerche va bene. Per le prove, annota i timestamp dei singoli file quando sono importanti, puoi leggerli nell'URL di ogni risorsa caricata.

Il web storico come prova legale

I tribunali negli Stati Uniti e altrove accettano da anni le catture archiviate, e la procedura è ben collaudata. La via abituale è l'autenticazione: l'Internet Archive fornisce, a pagamento, una dichiarazione giurata che autentica catture specifiche, una pratica standard riconosciuta dai giudici. In alternativa, un testimone con conoscenza personale della pagina può autenticare una stampa.

• Marchio e trade dress: dimostrare il primo uso in commercio, o che un marchio appariva in una forma particolare.
• Diffamazione: cosa diceva la dichiarazione, quando è stata pubblicata e quando è stata rimossa.
• Controversie contrattuali: quale versione dei termini di servizio era pubblicata il giorno in cui l'utente si è iscritto.
• Copyright: date di pubblicazione precedenti e lo stato di una pagina in un dato momento.

L'archivio mostra ciò che un crawler ha ricevuto, non necessariamente ciò che un cliente ha visto. Prezzi geolocalizzati, test A/B e pagine personalizzate sono per lo più invisibili, vale la pena ricordarlo prima che qualcuno firmi una dichiarazione giurata.

Tratta le catture della controparte con lo stesso scetticismo che vorresti applicato alle tue. Se una cattura è l'intero caso, corroborala: un secondo archivio, screenshot contemporanei, log del server, email. Ai giudici piacciono le prove convergenti, e dovrebbero piacere anche a te.

Trappole comuni quando si citano pagine archiviate

1. Collegarsi a una cattura senza aprirla prima. La metà delle volte, la metà che ti serviva è quella mancante.
2. Confondere la data di cattura con la data del contenuto. Il timestamp indica quando il crawler ha visitato, non quando il testo è stato scritto.
3. Seguire una cattura di reindirizzamento senza accorgersene. Uno stato di reindirizzamento significa che il crawler è stato mandato altrove; il contenuto che cerchi potrebbe trovarsi a un URL diverso.
4. Citare un solo archivio. Salva anche un link perma.cc o una stampa PDF, le catture possono essere rimosse su richiesta.
5. Dare per scontato che l'intero sito sia stato catturato. Una cattura della homepage dimostra che la homepage esisteva. Niente di più.

Rimozioni, robots.txt e altri modi in cui le pagine scompaiono

La Wayback Machine rispetta le richieste di esclusione e rimozione. Un proprietario di sito può chiedere all'Internet Archive di smettere di archiviare un dominio, e le catture storiche possono diventare non disponibili. I blocchi robots.txt hanno tenuto fuori i crawler completamente per anni, quindi un sito con un file robots restrittivo potrebbe avere un buco proprio dove dovrebbe esserci la sua storia.

Conseguenza pratica: se una cattura è importante per te, crea il tuo record il giorno in cui la trovi. Fai uno screenshot della pagina intera, salva un PDF, annota l'URL esatto della cattura e il timestamp. Gli archivi sono durevoli ma non immortali, e le controversie hanno il modo di far sparire pagine specifiche nel momento peggiore.

Dal web storico a un sito funzionante

A volte la ricerca si conclude con una decisione: vuoi riavere il sito. Il tuo vecchio sito, quello di un cliente, un dominio che hai appena acquistato con un decennio di contenuti allegati. Copiare e incollare pagine dall'archivio funziona per cinque pagine. Non funziona per cinquemila.

È questa la lacuna che il ripristino di siti web colma. Scarica la copia archiviata di un sito file per file, HTML, immagini, fogli di stile, PDF, lo ricostruisce come sito web funzionante. Il preventivo gratuito mostra il numero esatto di file archiviati, la dimensione totale e un prezzo bloccato prima di pagare qualsiasi cosa, e paghi per file ripristinato con il primo file gratuito.

Per i ricercatori, due opzioni di ripristino sono silenziosamente utili anche se il sito non torna mai online: esportazione strutturata degli articoli (XML, CSV o JSON) e un manifesto completo dei file in JSON o SQLite. Punta lo strumento all'archivio di una pubblicazione morta e ottieni un dataset invece di una cartella di HTML. Il tutorial illustra l'intero processo.