RAIO-X // WEB // ROBOTS

TESTE DE
ROBOTS.TXT.

Leia o robots.txt do site, ache um Disallow: / esquecido, os sitemaps declarados e as regras para GPTBot, ClaudeBot e outros robôs de IA.

Roda só este teste. Para os 33 testes de uma vez, use o Raio-X completo. Só consultas públicas; nada é guardado no servidor.

ROBOTS

robots.txt

AGUARDANDO

Digite um domínio acima para rodar este teste.

01 // O QUE O TESTE VERIFICA

Lê o /robots.txt: as regras para buscadores e robôs de IA e os sitemaps declarados.

02 // POR QUE IMPORTA

Um Disallow: / esquecido tira o site inteiro do Google. Robôs de IA também consultam estas regras.

03 // COMO LER O RESULTADO

OK: robots.txt publicado, sem bloqueio geral para todos os robôs.
ATENÇÃO: O endereço /robots.txt devolve uma página HTML ou outro código inesperado.
FALHA: Disallow: / para todos os robôs, ou o /robots.txt responde 5xx, e com isso o Google deixa de rastrear o site.
INFO: Sem robots.txt (404): todos os robôs podem rastrear tudo, o que em geral é o desejado.

ERRO e TIMEOUT indicam que a consulta não terminou (fonte fora do ar ou lenta), não um problema do domínio: refaça o teste.

04 // COMO CORRIGIR

Libere o rastreamento e declare o sitemap:

User-agent: *
Disallow:

Sitemap: https://exemplo.com.br/sitemap.xml

Prefere que outra pessoa faça? A Bit Happens corrige isso →

05 // CONTINUE