Verificador de Robots.txt
Analise o arquivo robots.txt de qualquer site. Detecta erros de sintaxe, regras conflitantes e ausência de sitemap.
O que é robots.txt e o que ele controla
O robots.txt é um arquivo de texto na raiz do site (/robots.txt) que dá instruções aos crawlers (Googlebot, Bingbot, etc.) sobre quais URLs eles podem ou não rastrear. Não impede acesso direto — qualquer pessoa ainda acessa as URLs — só pede ao crawler para não rastrear.
É frequentemente confundido com noindex. A diferença: robots.txt diz "não rastreie"; noindex diz "rastreie mas não mostre na busca". Para esconder uma página dos resultados, use noindex; para economizar crawl budget, use robots.txt.
Erros comuns em robots.txt
Disallow: / em produção — bloqueia o site inteiro do Google. Acontece quando o staging vai pro ar sem ajustar.
Falta de Sitemap. Toda diretiva robots.txt deve ter Sitemap: https://seu-site.com/sitemap.xml apontando.
Bloqueando /css/ e /js/. O Googlebot precisa renderizar a página com CSS e JS — bloquear esses diretórios prejudica a indexação visual.
User-Agent errado. Diretivas devem usar nome exato do bot. Googlebot é diferente de googlebot ou google.
Como usar a ferramenta
- 1
Cole a URL do site
URL raiz, sem caminho específico.
- 2
Ou cole o conteúdo do robots.txt
Se for staging ou local, cole direto.
- 3
Veja a análise
Sintaxe, regras por user-agent, sitemap declarado e problemas.
Ferramentas relacionadas
- Ferramentas de SEO
Analisador de Densidade de Palavras-chave
Analise a densidade de palavras-chave de qualquer texto. Identifique sobre-otimização (keyword stuffing) ou sub-otimização para SEO.
Acessar - Ferramentas de SEO
Simulador de Snippet do Google
Visualize como sua página vai aparecer no resultado do Google. Title, URL e meta description com largura real do desktop e mobile.
Acessar - Ferramentas de SEO
Gerador de Meta Tags
Gere meta tags HTML completas: title, description, OpenGraph, Twitter Cards, canonical e robots. Pronto para colar no head do seu site.
Acessar
Perguntas frequentes sobre verificador de robots.txt
As respostas para as principais dúvidas dos nossos clientes. Não encontrou o que procurava? Entre em contato.
- Não. Sites pequenos podem ficar sem (sem arquivo = todos podem rastrear tudo). Robots.txt importa quando você quer bloquear áreas específicas (admin, busca interna, parâmetros de URL).
Precisa de um site profissional para sua empresa?
A Web Pixel cria sites otimizados para o Google em 15 dias. Solicite seu orçamento sem compromisso.