A História dos Sites da Internet: Salvos, Perdidos e Por Quê

Em abril de 2009, o Yahoo anunciou o fechamento do GeoCities. Trinta e oito milhões de páginas de usuários, arquivos MIDI, placas de construção animadas, santuários de fãs de tudo, desde Arquivo X até peixes tropicais, estavam programadas para exclusão em outubro daquele ano. Uma equipe voluntária chamada Archive Team passou seis meses baixando o máximo que sua largura de banda permitia e liberou o material como um torrent. Uma fatia da web inicial sobreviveu porque estranhos decidiram que deveria. A maior parte da web inicial não teve tanta sorte.

Este é um olhar sobre o que realmente foi preservado das primeiras décadas online, o que se perdeu permanentemente e os motivos técnicos e sociais por trás de ambos. Se você está tentando recuperar um site antigo específico, pule para a última seção, essa parte é para você.

A história dos sites da internet é mais recente do que você imagina

A web se tornou pública em agosto de 1991, quando Tim Berners-Lee anunciou o projeto World Wide Web no CERN e apontou as pessoas para info.cern.ch. Ninguém a arquivou. Não havia com o que arquivar, os crawlers web em grande escala ainda estavam a anos de distância, e a ideia de preservar sites deliberadamente parecia para a maioria das pessoas algo como acumulação.

O Internet Archive foi fundado em maio de 1996 por Brewster Kahle, com dados de crawl provenientes do Alexa Internet. O Wayback Machine foi aberto ao público em outubro de 2001, já contendo 10 bilhões de páginas. Hoje contém mais de 900 bilhões. Impressionante, mas a lacuna é importante. De 1991 a 1996 não houve nenhum arquivamento sistemático. Quando o CERN restaurou o primeiro site em seu endereço original em 2013, a cópia mais antiga que alguém conseguiu localizar era de novembro de 1992. O original de 1991, possivelmente a página mais importante da história da web, sobrevive apenas em capturas de tela e reconstruções.

Tudo desse buraco de cinco anos sobreviveu por acidente: uma fita de backup de um administrador de sistemas, um CD-ROM acompanhando uma revista, um espelho FTP que alguém esqueceu de deletar.

Quem salvou o quê: arquivistas, voluntários e bibliotecas

Quatro grupos fizeram o salvamento, cada um com motivos e coberturas diferentes.

• O Internet Archive realiza crawls contínuos e aceita submissões públicas do Save Page Now. É a memória padrão da web e o primeiro lugar para verificar.
• O Archive Team é um coletivo de resgate voluntário que se mobiliza quando um serviço anuncia um encerramento. GeoCities em 2009, Google+ e Yahoo Groups em 2019, eles pegam o que podem e liberam como torrents.
• Bibliotecas nacionais arquivam seletivamente. O UK Web Archive opera sob depósito legal desde 2013; o arquivo PANDORA da Austrália seleciona sites australianos notáveis desde 1996.
• O Common Crawl publica enormes conjuntos de dados abertos de crawl desde 2008, inestimável para pesquisadores, mas não há uma interface de calendário amigável para navegação casual.

Vale uma menção à parte: o archive.today, em funcionamento desde 2012, tira instantâneos sob demanda e frequentemente contém páginas que o Internet Archive não capturou, especialmente aquelas bloqueadas dos crawls do IA.

O que a história dos sites da internet preservou: estático, público, popular

Observe o que sobreviveu melhor e um padrão se destaca. Os arquivos são tendenciosos para o que um crawler podia alcançar de forma barata e frequente.

• Páginas HTML estáticas com links simples, a dieta nativa do crawler.
• Imagens e arquivos vinculados diretamente de uma página capturada, pelo menos quando os tamanhos de arquivo eram razoáveis.
• Páginas com muitos links de entrada, porque os crawlers seguem links e páginas populares eram constantemente rastreadas novamente.
• Sites cujo robots.txt permitia o crawling, um único Disallow: / escondia tudo.
• Texto de qualquer tipo. Ele comprime lindamente e é servido rapidamente.

Uma página pessoal feita à mão em 1998, fundo roxo, contador de visitantes, página de links, geralmente é recuperável na íntegra, incluindo GIFs. Uma loja online de 2008 com dez vezes o impacto cultural muitas vezes não é. Popularidade e simplicidade superam todo o resto.

O que se perdeu para sempre, e por quê

As perdas se agrupam em algumas categorias previsíveis, e a maior delas é um arquivo de texto simples. Até uma mudança de política em 2017, o Internet Archive respeitava as exclusões do robots.txt e as aplicava retroativamente, uma edição de arquivo podia esconder anos de capturas existentes da visão pública. Domínios são vendidos, o novo proprietário coloca um robots.txt restritivo, e uma década de história desaparece da noite para o dia. Incontáveis sites desapareceram do arquivo dessa forma, enquanto os dados tecnicamente ainda existiam.

Tudo atrás de um login nunca foi rastreado: fóruns privados, redes sociais iniciais, comunidades exclusivas para membros. A reformulação de 2011 do Friendster eliminou anos de perfis em uma implantação. Páginas dinâmicas e baseadas em banco de dados eram rastreadas de forma inconsistente, na melhor das hipóteses, os crawlers lidam com links GET, não com formulários POST, então resultados de pesquisa, carrinhos de compras e listagens filtradas efetivamente nunca existiram, no que diz respeito aos arquivos.

A mídia pesada também se saiu mal. Áudio e vídeo em streaming da era RealPlayer, applets Java e qualquer coisa servida por protocolos estranhos foram pulados ou capturados com defeito. O Flash é o famoso caso extremo: os arquivos.swf eram frequentemente salvos, mas ficavam impossíveis de reproduzir por anos, até que o emulador Ruffle fez muitos deles funcionarem novamente em 2020. As peças em Flash que ninguém capturou simplesmente se foram.

Os números são sombrios mesmo para a web recente. O Pew Research descobriu em 2024 que 38% das páginas que existiam em 2013 não estavam mais acessíveis. Um estudo de Harvard sobre link rot descobriu que cerca de metade das URLs citadas em opiniões da Suprema Corte dos EUA já estavam mortas. Preservação é a exceção. Decadência é o padrão.

Por que sites dinâmicos quebraram o arquivamento

Um crawler busca URLs. Esse é o truque todo. Um fórum phpBB de 2005 ou uma loja osCommerce não é uma coleção de URLs, é um banco de dados vestindo URLs como fantasia, gerando páginas sob demanda a partir de strings de consulta como viewtopic.php?t=4821&start=40. O espaço de URLs é efetivamente infinito, então os crawlers o amostram. Eles pegam as páginas de índice e quaisquer tópicos que estavam bem linkados naquele mês, e perdem o resto.

Sessões e cookies pioram a situação: a mesma URL retorna conteúdo diferente para cada visitante, então uma captura pode armazenar um esboço de não logado ou um redirecionamento. E há um ângulo econômico direto, texto é barato para buscar e armazenar, mídia não é. Crawls limitados pulavam arquivos grandes para manter os custos baixos, e é por isso que muitas páginas arquivadas carregam como texto com buracos cinzas onde as imagens costumavam estar.

O resultado: os arquivos geralmente contêm o esqueleto de um site, páginas iniciais, artigos estáticos, alguns tópicos bem linkados, mas não o organismo vivo. A caixa de pesquisa, a lista de membros, o fluxo de checkout: esses nunca foram capturáveis em nenhum sentido significativo.

Como explorar a história dos sites da internet você mesmo

Para um site específico, o fluxo de trabalho é curto:

1. Insira o domínio em web.archive.org. O sparkline acima do calendário mostra a densidade de capturas por ano, anos movimentados significam cobertura completa.
2. Abra a captura mais antiga primeiro, depois avance. Capturas antigas revelam a estrutura original e padrões de URL antigos.
3. Procurando uma URL específica? Consulte o índice CDX ou cole o endereço diretamente na barra do Wayback, meu guia para encontrar todas as páginas que um site já teve cobre os truques da API.
4. Verifique no archive.today qualquer coisa que o Internet Archive tenha perdido.
5. Para material anterior a 1996, procure por mirrors operados por operadores, coleções universitárias e projetos de nostalgia, em vez de arquivos formais.

Se você quer uma visão geral em vez de uma página, nossos tutoriais sobre como pesquisar o histórico de sites e aprofundar-se na pesquisa de histórico de sites cobrem o calendário, coleções e arquivos alternativos em detalhes.

Quando navegar pelo passado não é suficiente

O Wayback Machine é uma sala de leitura, não um botão de restauração. No dia em que você precisar do site real de volta, os arquivos, as imagens, links internos que funcionam no seu próprio domínio, o salvamento manual desmorona após cerca de uma dúzia de páginas. Clique com o botão direito, salvar como, corrigir caminhos, repetir: isso é uma tarde por seção, e o resultado é uma pasta de fragmentos.

O serviço de restauração de sites existe exatamente para essa tarefa. Cole o domínio e o orçamento gratuito mostra a contagem exata de arquivos arquivados, o tamanho total e um preço fixo antes de você pagar qualquer coisa. Você paga por arquivo restaurado, o primeiro arquivo é gratuito, e as restaurações podem ser filtradas por intervalo de datas e limpas, análises antigas e anúncios removidos, links tornados relativos, HTTPS aplicado. O site reconstruído é implantado em sua própria hospedagem com um clique, ou exportado como dados estruturados. O tutorial mostra o fluxo completo.

A história dos sites da internet é irregular, mas o que sobrevive geralmente é recuperável se você usar a ferramenta certa para o trabalho.