Artigos Web: Como Extrair Texto Limpo de Qualquer Site

Um cliente me ligou em pânico uma vez: a agência havia redesenhado o site da empresa e simplesmente não migrou o blog. Uns quarenta posts, quatro anos de autoridade de busca, perdidos. A agência não tinha backup. A primeira pergunta deles foi a certa: dá para recuperar o texto dos artigos?

Esse trabalho, e a tarefa bem menor e cotidiana de salvar um artigo limpo de uma página poluída, são a mesma habilidade em escalas diferentes. Veja como faço ambos: quais ferramentas realmente funcionam, como recuperar artigos web de sites que não existem mais e onde ficam as linhas legais antes de republicar qualquer coisa.

Por que a extração é mais difícil do que parece

Numa página de notícias típica, o artigo representa menos de um quinto do HTML. O resto é navegação, barras laterais, banners de cookies, pop-ups de newsletter, carrosséis de posts relacionados e scripts de rastreamento. Copiar e colar do navegador arrasta tudo isso junto, ou pior, cola texto que se reorganiza num caos, porque foi construído com divs e spans aninhados.

Os obstáculos habituais:

• Renderização por JavaScript: o HTML que você baixa é um shell vazio até os scripts rodarem
• Paginação: um artigo dividido em cinco URLs para gerar impressões de anúncios
• Barreiras anti-bot: desafios que bloqueiam downloaders simples à primeira vista
• Carregamento preguiçoso: imagens que só existem quando você rola a página
• RSS truncado: feeds que param após duas frases e reticências

O método que você escolhe depende da escala: um artigo, um site inteiro ou um site morto.

Método 1: modo de leitura para artigos web individuais

Para uma página, não construa nada. O Reader View do Firefox (F9, ou o ícone de página na barra de endereço) reduz a página ao título, autoria e corpo do texto. Safari e Edge têm suas próprias versões, o Edge até lê o artigo em voz alta. No modo de leitura, copie para seu editor ou imprima em PDF para um salvamento com qualidade de arquivo.

1. Abra o artigo e ative o Reader View
2. Corrija o título e a autoria se o detector tiver errado
3. Copie para seu editor ou imprima em PDF
4. Salve a URL original e a data de captura junto com o texto, você vai querer a proveniência depois

Um truque menos conhecido: muitos sites entregam uma folha de estilo de impressão. Abrir a pré-visualização de impressão às vezes dá o artigo inteiro limpo, mesmo quando o modo de leitura trava, e 'Salvar como PDF' mantém a URL de origem no cabeçalho, se você ativar cabeçalhos e rodapés na caixa de diálogo de impressão.

Os limites são reais: uma página por vez, metadados (autor, data, tags) frequentemente perdidos ou errados, e falha total em páginas paginadas, paywall ou carregadas de scripts. Pocket e Instapaper fazem a mesma limpeza com uma camada de salvar para depois por cima, úteis para leitura, inúteis para volume.

Método 2: extração estruturada de artigos web

Passadas uma dúzia de páginas, trabalho manual deixa de fazer sentido. Extração estruturada significa rodar cada página por uma biblioteca que sabe encontrar o artigo dentro do boilerplate, o mesmo truque do modo de leitura, mas programável.

Antes de escrever qualquer código de extração, confira dois atalhos. Primeiro, /wp-json/wp/v2/posts?per_page=100, se o site roda WordPress, essa URL te entrega cada post como JSON limpo, sem scraping. Segundo, sitemap.xml: lista as URLs do site para que você possa enumerar artigos em vez de rastrear às cegas. Quando for rastrear, mantenha educação: uma requisição por segundo, um user-agent real, respeite o robots.txt, remova duplicatas por URL canônica.

Erros de extração que desperdiçam horas

Quatro erros respondem pela maior parte do trabalho de limpeza que vejo em jobs de extração, e todos são mais baratos de evitar do que de consertar:

• Confiar na data detectada. Extratores pegam felizmente a data de modificação, a data de um comentário ou o ano no rodapé. Verifique contra a autoria ou a data de captura do arquivo.
• Perder a URL canônica. Salve-a com o texto. Sem ela você não consegue deduplicar, configurar redirecionamentos ou provar proveniência depois.
• Extrair páginas de listagem como artigos. Páginas de categoria e tag parecem conteúdo para um detector. Filtre por padrão de URL antes de rodar o lote, não depois.
• Ignorar codificação. Um site de 2008 em Windows-1251 vira sopa de letras se você assumir UTF-8, confira o cabeçalho HTTP charset, não só a meta tag.

Recuperando artigos web de um site morto

Quando o site sumiu, o arquivo vira sua fonte. A CDX API do Wayback Machine lista cada captura sob um caminho, example.com/blog/*, e você pode puxar o snapshot bom mais recente de cada post e rodar as mesmas ferramentas de extração contra URLs do web.archive.org. Funciona, mas é lento: o arquivo limita taxa, capturas antigas referenciam imagens ausentes, e cinquenta artigos viram uma tarde de babá.

O caminho mais rápido é restaurar o site direito primeiro. O serviço de restauração de sites te dá uma estimativa gratuita, contagem exata de arquivos arquivados, tamanho total, preço travado, e depois restaura os arquivos num intervalo de datas à sua escolha. A parte que a maioria esquece: há uma opção de exportação estruturada de artigos que te entrega o texto como XML, CSV ou JSON, além de um manifesto JSON ou SQLite de cada arquivo restaurado. O blog de 2016 da minha história de abertura voltou assim, 412 arquivos, 96 MB, posts exportados em CSV com título, slug, data e corpo, reimportados no WordPress na mesma tarde. O tutorial percorre todo o fluxo.

Mais uma fonte que as pessoas esquecem: o Google aposentou seus links de cache em 2024, mas o archive.today costuma ter páginas que o Wayback Machine não capturou, especialmente artigos de notícias, e o Bing ainda serve cópias em cache para alguns sites. Vale uma busca antes de declarar um artigo irrecuperável.

Regras de direitos autorais antes de republicar

Não é aconselhamento jurídico, apenas as linhas dentro das quais profissionais realmente trabalham. Fatos e ideias não têm direitos autorais; a expressão específica deles tem. Seus próprios artigos são seus para fazer o que quiser. Para o texto de qualquer outra pessoa:

• Verifique se há licença. Marcas Creative Commons importam: CC0 e CC-BY permitem republicação (CC-BY exige crédito); CC-BY-NC proíbe uso comercial; sem marca significa todos os direitos reservados.
• Obtenha permissão por escrito quando não houver licença. Um e-mail dizendo sim vale mais que uma página de teoria de uso justo.
• Uso justo é defesa em tribunal, não permissão. Ele pondera propósito, quantidade, natureza e efeito de mercado, e citar um artigo inteiro falha no teste de quantidade quase sempre.
• Atribuição e link canônico são boas maneiras e bom SEO. Eles não curam infração.
• Imagens têm seus próprios direitos autorais, separados do texto. Rehospedá-las exige permissão própria.

Um detalhe que pega agências: trabalhos feitos por empregados costumam pertencer à empresa, mas trabalhos de contratados podem não, a menos que o contrato diga. Se você está recuperando o blog da sua própria empresa, confirme quem realmente detém o texto antes de republicar sob uma nova marca.

Um checklist de republicação que te mantém seguro

1. Confirme que você possui ou licenciou cada parte, texto e imagens separadamente
2. Mantenha o nome do autor original e a data de publicação com o artigo
3. Defina uma URL canônica se a versão antiga ainda existir em algum lugar
4. Redirecione 301 as URLs antigas para os novos locais
5. Atualize links internos para que apontem para páginas vivas, não mortas
6. Anote edições relevantes ('atualizado em julho de 2026') em vez de reescrever a história silenciosamente

Faça essas seis coisas e um blog recuperado retoma seus rankings de busca surpreendentemente rápido, o Google trata uma restauração fiel nas URLs originais como o mesmo site voltando, não um novo começando do zero.