Wayback Download: Todos os Métodos Classificados por Esforço

O site desapareceu. O host o apagou, os backups são arquivos vazios e a única cópia restante na Terra está dentro da Wayback Machine. Agora você precisa de um download da Wayback que realmente funcione, e há quatro maneiras de conseguir um. Elas vão de um truque de navegador de dois minutos a um serviço que faz tudo por você, e a diferença de esforço entre elas é enorme. Aqui está cada método, classificado pelo que custa em horas, com os modos de falha que ninguém menciona nas páginas de vendas.

O que um download da Wayback realmente oferece

A Wayback Machine não armazena seu site. Ela armazena respostas: uma URL, um rastreamento, um momento no tempo. Sua página inicial pode ter 10.000 capturas, enquanto sua política de privacidade tem duas, de 2014 e 2019. Um download da Wayback significa buscar essas respostas armazenadas, uma URL por vez, e juntá-las em algo que se pareça com o original.

Duas consequências decorrem disso. Primeiro, tudo o que o rastreador nunca viu está perdido para sempre: sem banco de dados, sem código-fonte PHP, sem painel de administração, nada protegido por login. Segundo, cada arquivo que você extrai está congelado em um momento de rastreamento que você não escolheu. Misture uma folha de estilo de 2016 com uma página inicial de 2021 e o site parecerá uma colagem de recortes, porque é exatamente isso que você montou.

A visualização em calendário em qualquer página de snapshot torna isso visível. Círculos azuis marcam os rastreamentos, e os intervalos entre eles podem se estender por anos em páginas pouco populares. Portanto, antes de escolher qualquer método, escolha uma data-alvo: o ano em que o site tinha a aparência desejada. Todas as decisões posteriores, quais capturas buscar, em quais ativos confiar, ficam mais fáceis.

Método 1: Salvar uma única página no navegador

Abra o snapshot, pressione Ctrl+S, escolha 'Página da web, completa'. Pronto. Para uma página, este é o download da Wayback mais rápido que existe. Para mais de umas dez páginas, torna-se uma forma de autopunição, então saiba quando parar. Se o navegador bagunçar algo, abra as ferramentas de desenvolvedor, encontre as URLs dos ativos na aba de rede e salve esses arquivos individualmente.

• Use o truque do id_: insira id_ após o timestamp na URL do snapshot para obter o HTML original exatamente como capturado, sem a barra de ferramentas da Wayback e os links reescritos incorporados.
• Páginas salvas vinculam seus ativos de volta ao web.archive.org. Abra o arquivo offline e metade das imagens desaparece, a menos que você as tenha salvo explicitamente também.
• Verifique a data de captura na visualização do calendário antes de salvar. Pegar o ano errado é o erro mais comum de iniciantes, e o arquivo raramente avisa.

Método 2: Um script wget para download da Wayback

O movimento clássico é o wget em modo espelho apontado para uma URL arquivada: wget --mirror --page-requisites --convert-links https://web.archive.org/web/2019/https://example.com. O wget segue os links reescritos que a Wayback injeta, o que mantém você dentro do arquivo, e --page-requisites baixa o CSS, JavaScript e imagens que cada página precisa.

Para um site institucional de 40 páginas, isso pode terminar em uma noite. Reserve essa noite para monitorar. O archive.org limita clientes agressivos, então adicione --wait=2 entre as solicitações e espere reexecutar o comando algumas vezes quando ele travar. Uma regex --reject que mantenha o wget próximo ao seu timestamp alvo evita que ele divague por vinte anos de capturas.

O que você obtém é um diretório de HTML que ainda carrega a barra de ferramentas da Wayback, timestamps dentro de cada URL de ativo e lacunas silenciosas onde o rastreador perdeu um arquivo. Transformar essa pilha em um site implantável é um segundo projeto, e é a parte que as pessoas esquecem de agendar.

Método 3: Scripting com a API CDX

Quando o rastreamento cego não é suficiente, vá à fonte. A API CDX retorna uma lista legível por máquina de cada captura para uma URL ou domínio: web.archive.org/cdx/search/cdx?url=example.com/*&output=json&filter=statuscode:200&collapse=urlkey. Essa única solicitação já é mais útil do que uma hora de wget, porque informa o que existe antes de você baixar qualquer coisa.

O loop é simples em Python ou Node: leia a lista, busque cada captura com o sufixo id_, salve no disco, espere educadamente entre as solicitações. O poder está nos filtros. Restrinja por ano ou tipo MIME e use collapse=digest para eliminar capturas duplicadas, de modo que você busque cada arquivo único uma vez, em vez de quarenta vezes.

Este é o método que utilizo para trabalhos forenses, como extrair todos os PDFs que uma empresa já publicou ou reconstruir um diretório em uma data específica. Também é um projeto de programação genuíno: um script cuidadoso para um site de médio porte é um fim de semana de escrita, testes e reexecução depois que a conexão cai às 2 da manhã.

Método 4: Serviços de restauração automatizados

A quarta opção é pular totalmente o trabalho manual. Serviços criados para essa tarefa consultam o arquivo, baixam todos os arquivos capturados, removem a interface da Wayback, reparam os links internos e entregam um site funcional em vez de uma pasta de fragmentos.

Restorix é o que recomendo aos clientes. Só a estimativa gratuita já vale o clique: antes de pagar qualquer coisa, ela mostra a contagem exata de arquivos arquivados, o tamanho total e um preço fixo. As restaurações são pagas por arquivo, com o primeiro arquivo grátis, e se uma restauração ou implantação falhar, o reembolso cai automaticamente no seu saldo. Sem ticket, sem discutir com o suporte.

Comparado com as rotas 'faça você mesmo', a troca é direta: uma pequena taxa fixa em troca do seu fim de semana, das dores de cabeça com limite de taxa e do seu script de limpeza. Nos últimos três trabalhos que avaliei, a taxa ficou abaixo do que duas horas faturáveis teriam custado ao cliente.

Os erros que arruínam um download da Wayback

• Ignorar strings de consulta. /page.php?id=12 e /page.php?id=13 são capturas diferentes de páginas diferentes. Ignore-as e metade de um blog WordPress ou fórum phpBB desaparece.
• Misturar timestamps cegamente. Uma página inicial de 2018 renderizada com CSS de 2013 parece uma fotocópia quebrada. Escolha uma data-alvo e mantenha-se dentro de alguns meses dela.
• Esquecer outros hosts. Imagens em cdn.example.com ou assets.example.net são capturas separadas sob prefixos de URL diferentes, e uma consulta apenas ao site nunca as vê.
• Confiar na cobertura antiga. O arquivo respeitou exclusões do robots.txt por anos, então seções inteiras de alguns sites nunca foram capturadas.
• Presumir que a captura mais recente é a melhor. Mais tarde nem sempre é melhor. Um site capturado depois de ser hackeado, estacionado ou redirecionado vale menos do que um snapshot saudável de dois anos antes.
• Salvar HTML reescrito. Sem o sufixo id_, você incorpora a barra de ferramentas da Wayback e os links do archive.org em cada página, e alguém terá que removê-los depois.

Escolhendo o método certo para o seu site

Um cenário realista: o site de marketing de 300 páginas de um cliente morre sem backup. O método um custa 300 salvamentos manuais, digamos dez horas. O método dois custa uma noite mais um dia de limpeza. O método três custa um fim de semana se você já programa. O método quatro custa uma taxa fixa que você conhecia antes de começar, e o site volta limpo, com links reparados e pronto para implantar. A matemática por hora não é sutil.

Minha regra após anos de trabalhos de restauração: se o site precisa voltar a viver, vá direto para o método quatro, porque é literalmente para isso que o Restorix foi criado. Se você precisa de uma página para evidência ou nostalgia, método um. Os dois do meio são para quem quer a jornada, não o destino.