Como encontrar todas as páginas de um site (mesmo as excluídas)

Quantas páginas o nosso site tem? Parece uma pergunta que deveria ter um banco de dados por trás. Raramente tem. No ano passado, um cliente jurou que o site tinha cerca de 400 páginas. O sitemap dizia 1.900. Um crawler encontrou 3.400. O índice do Wayback Machine listou 11.000 URLs que o site já havia servido, metade delas excluídas há tempos. Quatro fontes, quatro respostas, e todas as quatro estavam corretas sobre coisas diferentes.

Aqui estão os quatro métodos que uso para encontrar todas as páginas de um site, o que cada um realmente cobre e como mesclá-los em uma lista limpa na qual você possa agir.

Por que é difícil encontrar todas as páginas de um site

Não existe uma lista mestra, a menos que o CMS mantenha uma por acaso, e mesmo assim ele só sabe de si mesmo. Sites reais acumulam páginas que ficam de fora de qualquer inventário único: páginas órfãs que nenhum menu linka, seções que uma migração antiga deixou para trás, uploads referenciados uma vez em uma campanha de e-mail, URLs facetadas geradas sob demanda, subdomínios inteiros que alguém configurou em 2016 e esqueceu.

Cada método de descoberta enxerga uma fatia diferente dessa bagunça. O sitemap é o autorrelato do CMS. Um crawler mapeia o grafo de links. O índice CDX do Wayback Machine guarda a história. O Search Console reporta o que o Google realmente entregou aos usuários. Nenhum é completo; juntos chegam perto.

Defina para que serve a lista antes de construí-la. Um inventário de migração, uma auditoria de SEO e a recuperação de um site morto precisam da mesma matéria-prima, mas de uma limpeza diferente.

O sitemap: a forma mais rápida de encontrar todas as páginas de um site

Comece em /sitemap.xml. Se retornar 404, confira o robots.txt em busca de uma diretiva Sitemap:, muitos sites guardam o arquivo em um caminho incomum. O WordPress core serve /wp-sitemap.xml desde a versão 5.5; Yoast e Rank Math geram /sitemap_index.xml, que se desdobra em sitemaps filhos por tipo de post. Busque o índice e depois cada filho.

O protocolo limita cada arquivo de sitemap a 50.000 URLs e 50 MB descompactados, então sites grandes sempre usam índices, não pare no primeiro arquivo que encontrar.

Agora os avisos, porque sitemaps mentem por omissão. Um sitemap só lista o que o CMS conhece: nenhum upload de mídia órfão, nenhuma página excluída anos atrás, nenhuma seção legada rodando fora do CMS, nada gerado por aquele script personalizado em /old-tools/. E em sitemaps artesanais ou desatualizados, até a lista conhecida é ficção. Compare as datas de lastmod com páginas que você atualizou recentemente; se não baterem, não confie em nada.

Faça o crawl do site como o Googlebot faria

Um crawler começa na página inicial e segue cada link que consegue ver, do mesmo jeito que um mecanismo de busca faz. O Screaming Frog é o padrão do mercado e é gratuito até 500 URLs; o Sitebulb é mais amigável para auditorias; para ter controle total, um pequeno script em Python com requests e BeautifulSoup, ou o wget em modo spider, não custa nada.

O crawl encontra o que os sitemaps perdem: arquivos paginados que ninguém adicionou ao sitemap, páginas de tags e categorias, links quebrados apontando para páginas que ainda existem, cadeias de redirecionamento queimando orçamento de crawl.

Os pontos cegos do crawler são a imagem espelhada dos do sitemap. Se nada linka para uma página, o crawler nunca a encontra. Menus renderizados em JavaScript exigem um navegador headless, ou o crawl para na home. E a navegação facetada, filtros, calendários, opções de ordenação, pode inflar uma loja de 500 páginas em uma armadilha de 500.000 URLs; defina regras de exclusão antes de apertar start, e não depois. Em sites que você não é dono, mantenha a concorrência baixa e respeite o robots.txt.

A API do Wayback CDX: encontre todas as páginas de um site, passado e presente

Este é o método que quase ninguém usa e o que mais encontra. O servidor CDX do Internet Archive lista todas as URLs que ele já capturou para um host, incluindo páginas excluídas há uma década, que nenhum método ao vivo consegue ver.

Um único comando curl entrega o inventário completo:

curl "https://web.archive.org/cdx/search/cdx?url=example.com/*&output=text&fl=timestamp,original,statuscode&filter=statuscode:200&collapse=urlkey&from=2010&to=2020"

Os parâmetros que importam: collapse=urlkey remove capturas duplicadas da mesma URL; filter=statuscode:200 descarta os 404s e redirecionamentos; matchType=domain amplia a rede para subdomínios; from e to delimitam os anos. Para um site morto, essa janela de datas é onde está o ouro.

Espere volume. Um fórum ou loja de longa data pode retornar milhões de linhas, e o ruído de query string, IDs de sessão, parâmetros de rastreamento, infla a lista. A API é gratuita, mas tem limite de requisições, então seja paciente com domínios grandes e divida pulls enormes em blocos anuais.

Se você quer a resposta sem toda a parte técnica, a Restorix roda esse mesmo índice para o seu orçamento gratuito, cole um domínio e ela informa a contagem exata de arquivos arquivados e o tamanho total em segundos, sem precisar de consultas.

Google Search Console: encontre todas as páginas que seu site mostra ao Google

Para sites que você é dono, o Search Console acrescenta o único dataset que mais ninguém tem: o que o Google realmente indexou e serviu. Verifique a propriedade e trabalhe com dois relatórios.

• Relatório de Desempenho, aba Páginas: cada URL que recebeu uma impressão, exportável. A interface web limita as exportações a 1.000 linhas; a API do Search Analytics pagina muito além disso, e a exportação em massa para o BigQuery entrega o dataset completo diariamente.
• Relatório de Indexação, aba Páginas: indexadas versus rastreadas-no-momento-mas-não-indexadas, com URLs de amostra, uma leitura rápida de quanto do site o Google sequer se dá ao trabalho de manter.

O valor único está nos dados de impressão: páginas que usuários reais alcançaram, incluindo órfãs para as quais nada linka. Se uma landing page esquecida ainda gera trinta cliques por mês, ela entra na lista de manter. O Bing Webmaster Tools oferece os mesmos relatórios se o tráfego do Bing importa para você.

Mescle, deduplique e limpe a lista

Quatro fontes, quatro formatos, a mescla é onde o valor aparece. Jogue tudo em um único CSV e normalize antes de deduplicar, senão a mesma página aparece seis vezes disfarçada.

Esses disfarces não são hipotéticos. Uma única página de produto real pode aparecer como https://www.example.com/page/?utm_source=newsletter, http://example.com/page, example.com/page/#comments, example.com/page?fbclid=abc123, www.example.com/page/index.html e EXAMPLE.com/page, seis linhas, um documento. Caixa, protocolo, www, parâmetros, fragmentos e nomes de arquivo padrão precisam colapsar em uma única forma canônica antes da deduplicação fazer sentido. Pule essa etapa e seu inventário de 11.000 URLs na verdade terá 6.000 URLs usando fantasias.

• Coloque o hostname em minúsculas; remova fragmentos (#secao) por completo.
• Descarte parâmetros de rastreamento: utm_*, fbclid, gclid, ref. Ordene os parâmetros de query que sobrarem.
• Escolha uma convenção de barra final e mantenha-a.
• Colapse variantes de protocolo e www na sua forma canônica.

Depois da deduplicação, classifique cada URL: 200 ao vivo, redirecionando, 404 agora mas arquivada, ou completamente fora do ar. Esse terceiro grupo, excluído, mas presente nos dados do CDX, é o que as migrações esquecem e do que se arrependem. Um script em Python de vinte linhas resolve tudo isso para a maioria dos sites; planilhas dão conta até alguns milhares de URLs.

Comparação rápida entre as quatro fontes:

Você encontrou todas as páginas, e agora?

Para uma migração, a lista vira seu mapa de redirecionamentos: cada URL com impressões no Search Console ou capturas nos dados do CDX ganha um 301 para o equivalente moderno mais próximo. Para uma auditoria de SEO, as colunas de crawl e índice expõem seções finas e armadilhas de rastreamento. Nos dois casos, são algumas tardes de trabalho honesto.

Se a lista é para um site morto que você quer de volta, pule a reconstrução manual. A ferramenta de restauração restaura tudo a partir do Wayback Machine: o orçamento gratuito mostra a contagem exata de arquivos e o tamanho com preço fixado, você paga por arquivo restaurado com o primeiro de graça, e as opções de limpeza removem analytics antigos, convertem links para relativos e minificam os assets. O resultado é implantado no seu hosting com um clique, ou exportado como XML, CSV ou JSON com um manifesto completo de arquivos, se você preferir a matéria-prima. De qualquer forma, o trabalho de enumeração que você acabou de fazer mostra exatamente o que uma boa restauração deve conter.