Wayback Machine e Sites Históricos da Web: Onde a Velha Web Vive

Em outubro de 2009, o Yahoo desativou o GeoCities. Milhões de homepages construídas à mão, arquivos MIDI, GIFs de 'em construção', santuários de programas de TV esquecidos, foram marcadas para exclusão com poucos meses de aviso. Um grupo de voluntários chamado Archive Team passou esses meses raspando o mais rápido que os servidores do Yahoo permitiam e liberou o conteúdo como um torrent. Esse resgate é o motivo pelo qual os sites históricos da web são algo que você ainda pode visitar, em vez de apenas lembrar.

A frase de busca é desajeitada, wayback machine, sites históricos da web, seja qual for a ordem das palavras, mas a pergunta por trás dela é simples: onde a velha web vive, e ainda é possível vê-la? Sim, é possível. Aqui está um tour pelos lugares que a preservam, desde as centenas de bilhões de capturas do Wayback Machine até um site que permite navegar em 1997 dentro de um Netscape Navigator emulado. E, no final, a parte prática: como tirar um pedaço dessa história da prateleira do museu e colocá-la de volta online sob seu próprio domínio.

O que conta como um site histórico da web?

Três coisas diferentes são agrupadas. Primeiro, os grandes arquivos de rastreamento, o Wayback Machine e seus primos de bibliotecas nacionais, que tiram snapshots de páginas em uma programação. Segundo, coleções resgatadas: plataformas extintas como GeoCities, Tripod ou AOL Hometown, salvas em massa antes do desligamento e re-hospedadas por voluntários. Terceiro, museus vivos: projetos como oldweb.today que não apenas armazenam as páginas, mas recriam a experiência de navegar por elas, com a interface do navegador da época e tudo mais.

A necessidade não é sentimental. Um estudo do Pew Research de 2024 descobriu que 38% das páginas da web de 2013 não estavam mais acessíveis uma década depois. As páginas não desaparecem porque alguém decide que a história acabou. Elas desaparecem porque um cartão de crédito expira, uma empresa é adquirida, uma atualização de CMS dá errado. Os sites históricos da web são a rede de segurança para um meio que não tem edição impressa.

O material que vale a pena preservar geralmente se enquadra em algumas categorias:

• HTML codificado à mão antes de 2010, layouts de tabela, GIFs espaçadores, livros de visitas
• Plataformas extintas: GeoCities, Tripod, Angelfire, blogs do MySpace, Google+
• Comunidades de fórum em phpBB e vBulletin, muitas vezes o único registro de um hobby de nicho
• Blogs e fotologs antigos que antecedem as redes sociais
• Sites extintos de pequenas empresas e clubes, a história local que ninguém mais arquivou

Como o Wayback Machine se tornou a maior coleção de sites históricos da web

O Internet Archive, fundado por Brewster Kahle em 1996, abriu o Wayback Machine ao público em 2001. Ele agora contém centenas de bilhões de capturas de páginas, e ainda é a resposta padrão para 'como era este site há cinco anos'. A visualização de calendário mostra a densidade de capturas rapidamente; o timemap lista cada snapshot de uma URL; o Save Page Now permite que qualquer pessoa arquive a página que está vendo, e é por isso que grande parte da web recente é coberta em minutos após notícias de última hora.

Dois truques que vale a pena conhecer. Adicione id_ a um timestamp na URL, web.archive.org/web/20090601id_/http://example.com, e você obtém o arquivo original exatamente como foi rastreado, sem o banner injetado pelo arquivo e os links reescritos. E a API CDX listará todas as capturas de um padrão de URL, que é como os profissionais inventariam um site inteiro extinto antes de mexer nele.

As lacunas também importam. O Wayback Machine historicamente respeitava o robots.txt, então alguns sites antigos têm cobertura escassa. Páginas com muito JavaScript muitas vezes capturam a casca, mas não o conteúdo. Imagens e arquivos hospedados em outros domínios são perdidos. Quando uma captura parece quebrada, o primeiro passo é tentar capturas alguns meses antes ou depois, a qualidade da cobertura varia muito entre as datas.

GeoCities e os projetos de resgate que se recusaram a deixá-lo morrer

O GeoCities era o terceiro site mais visitado da web quando o Yahoo o comprou em 1999. Dez anos depois, o Yahoo o fechou, e a raspagem de emergência do Archive Team se tornou um dos maiores atos de preservação digital já feitos por voluntários. Os dados sobrevivem em lugares como oocities.org e geocities.ws, que re-hospedam as páginas resgatadas, e o GifCities, o mecanismo de busca do Internet Archive para os GIFs animados extraídos da coleção. O Deleted City de Richard Vijgen renderiza o arquivo como um mapa ampliável, bairros e tudo, e o Cameron's World o remixa em uma colagem de tributo.

Dois desdobramentos merecem menção especial. One Terabyte of Kilobyte Age, o blog de pesquisa de Olia Lialina e Dragan Espenschied, passou anos postando capturas de tela e ensaios da coleção, a coisa mais próxima que a velha web tem de um programa curatorial. E o Neocities, fundado em 2013, é o sucessor vivo: não um arquivo, mas um host gratuito onde as pessoas constroem homepages codificadas à mão novamente, com a estética do GeoCities incluída.

A lição do GeoCities é desconfortável: nada hospedado por outra pessoa é permanente, não importa o tamanho da empresa. O Yahoo era o gigante da web. A plataforma sobreviveu ao seu caso de negócios exatamente pelo tempo do período de aviso.

oldweb.today: navegando em páginas antigas em navegadores da época

Uma página de 1997 foi escrita para o Netscape Navigator 4 ou Internet Explorer 5. Aberta em um navegador moderno, os frames colapsam, os applets morrem, as fontes são substituídas, e a tag blink fica lá sem piscar, os mecanismos modernos se recusam. O oldweb.today, construído por Ilya Kreymer do Webrecorder, resolve isso executando navegadores antigos emulados dentro do seu navegador e alimentando-os com capturas do Internet Archive e de vários arquivos nacionais da web. Você escolhe Mosaic, Netscape ou IE antigo, digita uma URL e um ano, e obtém a página como ela realmente era sentida.

Parece uma novidade até você usá-lo para pesquisa. Layouts com GIFs espaçadores só fazem sentido em tamanhos de tela da época. Menus DHTML escritos para o IE4 não fazem nada em um mecanismo moderno. Se você estuda, cita ou reconstrói sites antigos, renderizá-los no navegador para o qual foram projetados é a diferença entre olhar para um espécime e olhar para uma foto de um espécime. O ArchiveWeb.page da mesma equipe funciona na direção oposta: ele grava sua navegação atual em arquivos WACZ padrão, para que as páginas que você se importa hoje se tornem a história bem preservada de alguém mais tarde.

Além do Wayback Machine: mais sites históricos da web que vale a pena conhecer

O Wayback Machine é o maior, não o único. Pesquisas sérias, e restaurações sérias, cruzam vários arquivos, porque cada rastreador viu uma fatia diferente da web.

As bibliotecas nacionais merecem respeito aqui. As leis de depósito legal significam que a British Library, a Bibliothèque nationale de France e outras rastreiam os domínios de seus países sistematicamente, muitas vezes capturando sites regionais e governamentais que o Internet Archive viu raramente ou nunca.

Restaurando sites históricos da web a partir do Wayback Machine

Navegar em um museu é uma coisa. Às vezes, um pedaço da história importa o suficiente para ser colocado de volta em funcionamento: o site do seu clube de 2003, a documentação de um projeto de código aberto extinto, a homepage de um parente que faleceu. Uma cliente me procurou no ano passado exatamente com isso, um fotolog mantido por seu falecido pai, offline desde 2014. A família queria de volta no domínio original para um aniversário.

1. Encontre a melhor captura. Use a visualização de calendário e verifique várias datas; a mais recente nem sempre é a mais completa. As imagens quebram de forma diferente entre as capturas.
2. Obtenha o inventário real antes de se comprometer. A estimativa gratuita do nosso serviço lê o arquivo para o seu domínio e retorna a contagem exata de arquivos arquivados, o tamanho total e um preço fixo, antes de você pagar qualquer coisa.
3. Escolha as opções de restauração. A seleção de intervalo de datas mantém você dentro da melhor era do site; remover análises antigas, anúncios e iframes elimina o lixo de terceiros de 2008; links internos relativos e conversão para HTTPS tornam o resultado implantável em qualquer lugar.
4. Restaure. Você paga por arquivo com uma pequena taxa fixa, o primeiro arquivo é gratuito e não há assinatura, apenas recargas de saldo únicas.
5. Implante e mantenha. A implantação com um clique envia o site restaurado para seu VPS, hospedagem compartilhada ou S3, e o CMS de arquivo único incluído permite que a família, ou o secretário do clube, corrija um erro de digitação sem aprender Git.

No caso daquele fotolog, a estimativa encontrou 1.140 arquivos e 210 MB, a restauração levou menos de uma hora, e o site agora está em uma hospedagem estática barata que custa menos por ano do que um buquê de flores. Restaurações com falha são reembolsadas automaticamente para o saldo, então o perfil de risco é tão emocionante quanto ler um recibo. O fluxo completo de restauração do wayback está documentado se você quiser os detalhes primeiro.

Um link para o museu vs. possuir a exposição

Vincular a uma captura do Wayback é bom para uma citação ou uma referência única. Restaurar vence quando o conteúdo tem valor contínuo: tráfego de busca que deveria chegar ao seu domínio, tempo de atividade que você controla e independência das políticas de qualquer arquivo único, os arquivos removem conteúdo mediante solicitação, e o Wayback Machine não é exceção. Minha regra: vincule para notas de rodapé, restaure para qualquer coisa que você ficaria triste em perder duas vezes.

Um link para um arquivo é uma promessa que outra pessoa mantém. Uma restauração é uma cópia em suas próprias mãos.