Wayback Machine: O Guia Completo para Navegar pelo Histórico da Web

O Wayback Machine já me salvou mais vezes do que consigo contar. A loja WooCommerce de um cliente apagada por uma atualização defeituosa de plugin. A página de preços de um concorrente em 2019, necessária para uma disputa contratual. A versão original de um artigo que alguém reescreveu discretamente depois de ser citado em um processo judicial. É a memória da web e não custa nada para usar. No entanto, a maioria das pessoas só usa a caixa de busca da página inicial e perde todo o resto. Este guia explica como o arquivo realmente funciona, todos os truques de pesquisa que vale a pena conhecer, onde ele falha e o que fazer quando navegar pelas capturas não é suficiente e você precisa recuperar o site em si.

O que o Wayback Machine realmente é

O Wayback Machine é um arquivo público gratuito de páginas da web, mantido pelo Internet Archive, uma biblioteca digital sem fins lucrativos com sede em São Francisco. Brewster Kahle fundou a organização em 1996, e o Wayback Machine foi aberto ao público em 2001. O nome é uma referência à máquina WABAC, o dispositivo de viagem no tempo do desenho animado Peabody's Improbable History, dos anos 1960, motivo pelo qual muitos o chamam erroneamente de 'way back machine'.

A coleção já ultrapassou 900 bilhões de páginas da web arquivadas e continua crescendo mais de um bilhão de páginas por semana. Além de páginas da web, o Internet Archive armazena livros digitalizados, noticiários de TV, áudios e softwares antigos que podem ser executados no navegador. A navegação é gratuita e não exige cadastro.

Uma distinção é fundamental antes de tudo: o Wayback Machine arquiva páginas, não sites. Cada captura é uma única URL registrada em um único momento. Não existe um objeto 'site completo, março de 2015' guardado em uma prateleira, apenas milhares de capturas de páginas individuais que compartilham o mesmo domínio. Tenha isso em mente, pois explica quase todas as peculiaridades que você encontrará mais adiante.

Como funcionam os rastreamentos e as capturas

O arquivo é construído por rastreadores. Nos primeiros anos, o Internet Archive dependia de dados de rastreamento da Alexa Internet, empresa de análise web cofundada por Kahle; hoje, ele opera seu próprio sistema de rastreamento, além de rastreamentos de parceiros e milhões de salvamentos manuais de usuários. Um rastreador solicita uma URL, armazena o HTML recebido e, em seguida, busca os recursos referenciados por esse HTML, imagens, folhas de estilo, scripts, cada um armazenado como um arquivo separado.

Esse último detalhe explica a confusão mais comum. Uma captura não é uma pasta congelada no tempo. O HTML da página pode ser de 3 de março, enquanto a folha de estilo é de 9 de março e a imagem principal é de 20 de fevereiro. Quando tudo se alinha, a página é exibida corretamente. Quando não, você obtém a clássica captura quebrada: texto intacto, layout destruído, caixas cinzas onde deveriam estar as fotos.

Com que frequência uma página é rastreada

Não há um cronograma previsível. A frequência de rastreamento segue a relevância: a página inicial de um grande jornal é capturada milhares de vezes por dia, enquanto um fórum phpBB de 2009 pode aparecer apenas duas vezes em uma década. Se uma página é importante para você, não espere que um rastreador se importe com ela, salve-a você mesmo, um truque abordado mais adiante.

O que pode bloquear um rastreamento

O rastreador respeita o robots.txt, e uma exclusão pode ser aplicada retroativamente: um site que impõe um bloqueio geral em seu domínio pode tirar todo o seu histórico de capturas do ar até que o bloqueio seja removido. Os proprietários de sites também podem solicitar diretamente ao Internet Archive a exclusão de seu conteúdo. Páginas protegidas por login e paywall nunca são rastreadas.

Interpretando o calendário e a linha do tempo

Pesquise uma URL e você chega à visualização do calendário. Dois instrumentos fazem todo o trabalho. O gráfico de barras no topo mostra as capturas por ano, uma maneira rápida de ver quando um site estava ativo, quando estava movimentado e quando ficou inativo. O calendário abaixo marca cada dia capturado do ano selecionado.

• Círculo azul: uma captura normal que retornou um 200 OK.
• Círculo verde: a captura foi um redirecionamento. O rastreador o seguiu, então verifique para onde foi.
• Marca vermelha: uma resposta de erro, geralmente 404 ou 500. Raramente vale a pena abrir.
• Círculo maior: mais capturas naquele dia. Passe o mouse sobre um dia para ver os horários exatos, clique em um timestamp para abri-lo.

Abra uma captura e um banner aparece no topo da página. Ele exibe o timestamp UTC exato, setas para a captura anterior e a próxima, e um painel 'Sobre esta captura' com metadados do rastreamento. Quando você estiver procurando uma mudança específica, por exemplo, quando uma empresa removeu sua cláusula de reembolso, não clique em dias aleatórios. Procure por agrupamentos e lacunas e, em seguida, delimite a mudança entre a última captura que a contém e a primeira que não a contém.

Sintaxe de busca do Wayback Machine que vale a pena memorizar

A caixa de busca da página inicial é o caminho mais lento. A própria URL é a verdadeira interface, e um punhado de padrões cobre quase tudo o que você vai precisar.

Dois deles merecem destaque. A lista de URLs em todo o domínio é a maneira mais rápida de encontrar uma página cujo endereço você lembra pela metade, digite um fragmento do slug na caixa de filtro e o arquivo reduz milhares de caminhos para a única postagem que você precisa. E o modificador id_ é o que os profissionais usam quando precisam do arquivo em si, em vez de uma visualização reenquadrada, porque ele serve os bytes originais sem o banner e sem reescrever um único link.

Save Page Now e quando ele se recusa

O arquivo não é apenas uma sala de leitura. O Save Page Now grava nele: cole qualquer URL pública em web.archive.org/save e um rastreador busca a página ao vivo em segundos. Uma conta gratuita desbloqueia extras como salvar páginas vinculadas e capturas de tela de página inteira. Se você publicar algo importante, salvá-lo no mesmo dia é o seguro mais barato da internet.

Ele se recusa com mais frequência do que as pessoas esperam. Páginas bloqueadas por robots.txt não serão salvas. O uso anônimo tem limite de taxa, então salvar cinquenta páginas em sequência irá travar. Telas de login são salvas como telas de login. E aplicativos pesados em JavaScript às vezes são arquivados como uma casca vazia, o HTML foi salvo corretamente, mas o conteúdo só existia depois que os scripts eram executados, e os scripts consultavam uma API que já morreu há muito tempo.

Onde o Wayback Machine deixa a desejar

• Qualquer coisa protegida por login, paywall ou formulário POST nunca é arquivada.
• Aplicativos interativos que renderizam com JavaScript muitas vezes sobrevivem como cascas vazias.
• Vídeos e áudios em streaming raramente são reproduzidos a partir de capturas antigas.
• Lacunas. A única semana que você precisa desesperadamente é, invariavelmente, a semana em que ninguém rastreou.
• Sem download do site inteiro. Você navega uma página por vez, com links reescritos para apontar de volta através do arquivo.
• O código do lado do servidor desaparece para sempre. As capturas contêm HTML renderizado; o PHP, o banco de dados e o painel de administração nunca foram públicos, portanto, nunca foram arquivados.

Nada disso são bugs. O arquivo foi construído para a memória, não para migração, e essa distinção é importante no momento em que seu objetivo muda de ler uma página antiga para reconstruir um site inteiro.

Do Wayback Machine para um site restaurado

Navegar por uma captura responde a perguntas. Ela não entrega um site. Os links apontam de volta para archive.org, os recursos são servidos dos servidores do arquivo e não há botão de exportação. Copiar manualmente funciona para uma ou duas páginas; uma loja de 3.000 páginas copiada dessa forma é um mês da sua vida que você não vai recuperar. É nesse ponto que as pessoas param de pesquisar e começam a procurar uma restauração do Wayback Machine.

Essa lacuna é exatamente para o que o Restorix foi criado. Ele extrai todos os arquivos arquivados de um domínio, reconstrói links internos funcionais e mostra primeiro uma estimativa gratuita, a contagem exata de arquivos, o tamanho total e um preço fixo antes de você pagar qualquer coisa. As restaurações são pagas por arquivo, o primeiro arquivo é gratuito e as restaurações com falha são reembolsadas automaticamente para o seu saldo. As opções cobrem as partes menos glamourosas que importam: remover scripts antigos de análise e anúncios, converter links para relativos, forçar HTTPS, manter redirecionamentos 301 ativos e exportar dados estruturados de artigos como XML, CSV ou JSON.

Quando os arquivos estão prontos, um clique os implanta em seu próprio VPS via SSH ou SFTP, em hospedagem compartilhada via FTP ou em um bucket S3, e cada implantação inclui um pequeno CMS de arquivo único em /webarchive-cms.php, para que o site restaurado seja editável no momento em que chega. O tutorial orienta uma execução completa em cerca de dez minutos.