Como Baixar do Archive.org: Itens, Snapshots e Mais

A expressão 'baixar do Archive.org' abrange duas tarefas completamente diferentes, e confundi-las é como as pessoas perdem tardes inteiras. Tarefa um: pegar arquivos de um item, um livro, um driver, a gravação de um concerto. Tarefa dois: extrair um site da Wayback Machine. A primeira tem um botão de download. A segunda, definitivamente, não.

Faço ambas semanalmente, para restaurações de clientes e para pesquisa. Aqui está cada método que ainda funciona, com as vantagens e desvantagens reais: o que é um clique, o que é linha de comando e o que é uma armadilha disfarçada de botão de download.

Duas Formas de Baixar do Archive.org

O Archive.org armazena conteúdo como itens, pacotes autônomos de arquivos com metadados, como uma pasta etiquetada numa prateleira. A Wayback Machine armazena capturas, cópias de URLs individuais com carimbo de data/hora, exibidas com links reescritos. Itens são feitos para serem baixados. Capturas são feitas para serem visualizadas no navegador.

Tudo o que você pode fazer decorre dessa divisão. Downloads de itens são oficialmente suportados: botões, torrents, uma CLI, uma API de metadados. 'Downloads' de snapshots são na verdade reconstruções, você consulta a API CDX para saber o que existe, puxa os bytes originais de cada URL e depois conserta os links. Ferramentas diferentes, modos de falha diferentes, orçamentos de tempo diferentes.

Não tem certeza em qual mundo você está? Olhe a URL. archive.org/details/alguma-coisa é um item, baixável. web.archive.org/web/2012/http://exemplo.com é uma snapshot, visualizável. O mesmo arquivo, dois esquemas de endereço, dois conjuntos de regras.

Baixar Itens do Archive.org da Forma Simples

Abra qualquer página de item e veja a caixa de download à direita. Você encontra arquivos individuais, geralmente um link de torrent e, às vezes, um atalho para ZIP ou texto completo. Para um PDF ou um ISO, clique no arquivo. Pronto. Esta é a única parte do download do Archive.org que funciona como as pessoas esperam.

• Clique em 'SHOW ALL' para ver todos os arquivos do item, incluindo logs e formatos derivados que a caixa esconde.
• URLs diretas são previsíveis: archive.org/download/{identificador}/{nome-do-arquivo}, perfeito para scripts e wget.
• A opção torrent geralmente supera o HTTP para itens de vários gigabytes, e retoma de forma limpa após uma conexão cair.
• Derivados são versões geradas, texto com OCR, MP4s menores. O upload original está marcado como tal; pegue-o quando a fidelidade for importante.

Mais um truque para quem faz scripts: acrescente /metadata/{identificador} ao archive.org e você obtém uma listagem JSON de cada arquivo, seu tamanho, checksum e formato. Esse JSON é exatamente o que a ferramenta de linha de comando consome internamente.

Downloads em Massa com a CLI do Internet Archive

Para mais do que alguns itens, instale a ferramenta oficial de linha de comando, o pacote Python internetarchive, que fornece o comando ia. Ele cuida de autenticação, retomada e novas tentativas, e é a diferença entre um script e um fim de semana clicando.

1. Instalação: pip install internetarchive, depois execute ia configure uma vez com sua conta.
2. Um item: ia download {identificador} espelha o item inteiro em uma pasta local.
3. Selecionar: ia download {identificador} --glob='*.pdf', sem mais surpresas de 40 GB.
4. Buscas inteiras: ia search 'collection:archiveteam AND year:2013' --itemlist > lista.txt, depois faça um loop de ia download sobre esse arquivo.

Limites de taxa existem. A CLI faz novas tentativas educadamente por conta própria; seu loop wget bruto contra o archive.org não fará, e martelar o servidor resulta em limitação ou bloqueio. Seja o educado, o arquivo é uma organização sem fins lucrativos, não uma CDN.

Como Baixar Snapshots da Web do Archive.org

Agora a metade difícil. Uma captura da Wayback não é um item, então não há caixa de download. Você tem quatro caminhos realistas, em ordem de esforço:

1. Página única, agora: abra a snapshot e use a função de salvar do navegador. Serve para uma página; a cópia salva ainda aponta seus recursos para web.archive.org.
2. Bytes originais de um arquivo: insira id_ após o carimbo de data/hora na URL da snapshot, web.archive.org/web/20120501000000id_/http://exemplo.com/style.css, e você obtém o payload não modificado. Ideal para imagens individuais, CSS e PDFs.
3. Puxadas com script: consulte a API CDX para cada URL capturada sob um caminho, depois solicite cada uma com o modificador id_. Funciona, mas agora você está mantendo um scraper, deduplicando resumos e reescrevendo links por conta própria.
4. Ferramentas de download e serviços de restauração: ferramentas da comunidade como a gem wayback-machine-downloader automatizam o loop CDX+fetch; um serviço de restauração como o Restorix faz isso mais a limpeza e a reimplantação.

Observe o padrão: no momento em que você quer mais do que uma ou duas páginas, você está escrevendo ou executando ferramentas. Não há vergonha nisso, apenas faça um orçamento honesto para isso.

Uma ressalva sobre o truque do id_, porque ele promete demais: ele fornece os bytes originais daquela única resposta, mas não conserta nada. Uma página puxada com id_ ainda contém quaisquer URLs absolutas que o site usava em 2012, ainda referencia recursos que o crawler nunca pegou e ainda pressupõe um domínio que você pode não possuir mais. Bytes originais são o material de partida, não o site finalizado.

Itens vs. Snapshots da Web: Quando Cada Um se Aplica

Essa última linha surpreende as pessoas: quando o Archive Team resgata um host que está morrendo, o resultado vai para o arquivo de itens como arquivos WARC gigantes. O mesmo site pode ser tanto um download de item quanto um conjunto de snapshots. Verifique primeiro o lado do item, um rastreamento pré-empacotado supera mil buscas individuais, e nosso guia de formatos explica o que fazer com esses WARCs.

Erros de Download que Desperdiçam Horas

• wget recursivo contra web.archive.org. Cada link é reescrito para permanecer em seu domínio, então seu crawler baixa alegremente a própria interface da Wayback Machine até a morte térmica do universo.
• Baixar o item completo por um arquivo. Um clique em 'SHOW ALL' leva dez segundos; um ZIP de 40 GB leva sua noite.
• Confiar em uma snapshot como o site inteiro. Capturas são por URL e oportunistas, imagens servidas de um subdomínio CDN muitas vezes estão completamente ausentes.
• Ignorar códigos de status na saída do CDX. Redirecionamentos e 404s também são arquivados; filtre por statuscode:200 e colapse resumos, ou você restaurará stubs de redirecionamento como páginas.
• Pular os checksums. Itens vêm com arquivos md5 e sha1, verifique downloads grandes antes de construir sobre eles.
• Presumir que uma data de snapshot é suficiente. A página inicial de 2011 com imagens de 2009 é normal; sites foram rastreados aos poucos, então espere misturar datas de captura para obter uma imagem completa.

Você Tem os Arquivos. E Agora?

Downloads de itens se encaixam diretamente na sua biblioteca de mídia ou cadeia de ferramentas, essa parte está resolvida. Puxadas de snapshots são onde o trabalho real começa: URLs reescritas, recursos ausentes, formulários de contato quebrados, HTTP e HTTPS misturados. Transformar uma pasta de capturas de 2011 em um site que realmente carrega é um trabalho de reconstrução, não de download.

Este é o ponto em que parei de fazer scripts manualmente e comecei a indicar as pessoas para o serviço de restauração de sites. A estimativa gratuita lê o arquivo para você, contagem exata de arquivos, tamanho total, preço fixo, antes de você gastar um centavo. Primeiro arquivo restaurado grátis, pague por arquivo depois disso, recargas únicas, sem assinatura. Se uma restauração ou implantação falhar, o reembolso cai no seu saldo automaticamente, sem necessidade de ticket de suporte.

As opções de restauração cobrem as partes complicadas que você teria que fazer com script: remover analytics e anúncios, tornar links relativos, forçar HTTPS, canonicalizar www, manter redirecionamentos. A implantação com um clique envia o resultado para SSH/SFTP, FTP ou S3, e o CMS de arquivo único incluído em /webarchive-cms.php permite que você corrija o conteúdo no local, o tutorial mostra um trabalho completo. Downloads encerram a busca; eles não encerram o trabalho.