Verificador de Robots.txt
Analise o arquivo robots.txt de qualquer site. Detecta erros de sintaxe, regras conflitantes e ausência de sitemap.
O que é robots.txt e o que ele controla
O robots.txt é um arquivo de texto na raiz do site (/robots.txt) que dá instruções aos robôs de busca (Googlebot, Bingbot e outros) sobre quais URLs eles podem ou não rastrear. Ele não impede o acesso: qualquer pessoa continua abrindo as URLs. Só pede ao robô que não as visite.
É frequentemente confundido com noindex. O robots.txt diz "não rastreie"; o noindex diz "não mostre na busca". Para tirar uma página dos resultados, use noindex e deixe a página liberada no robots.txt. Se o Googlebot não puder acessar a página, ele não vê o noindex, e a URL pode continuar aparecendo na busca, sem descrição, quando outros sites apontam para ela.
Como o Google lê as regras
A regra mais específica vence. Quando um Allow e um Disallow valem para a mesma URL, o Google aplica o de caminho mais longo. Em caso de empate, vale o Allow.
Caminhos diferenciam maiúsculas. Disallow: /Admin/ não bloqueia /admin/. Já o nome do robô em User-agent não diferencia: Googlebot e googlebot valem o mesmo.
Curingas. O Google aceita * para qualquer sequência de caracteres e $ para o fim da URL. Disallow: /*.pdf$ bloqueia todos os PDFs.
O que o Google ignora. Crawl-delay não tem efeito no Googlebot, e Noindex dentro do robots.txt deixou de ser aceito em 2019.
Erros comuns em robots.txt
Disallow: / em produção bloqueia o site inteiro. Acontece quando a versão de testes vai para o ar sem ajustar o arquivo.
Sem a linha Sitemap. Não é obrigatória, mas declarar Sitemap: https://seu-site.com/sitemap.xml ajuda Google e Bing a acharem o sitemap sem depender de envio manual.
Bloqueando CSS e JavaScript. O Googlebot precisa desses arquivos para renderizar a página. Bloqueados, o Google pode ver a página quebrada.
Arquivo fora da raiz. O robots.txt só vale em /robots.txt do próprio endereço. Um arquivo em /blog/robots.txt é ignorado, e um subdomínio como loja.seusite.com.br precisa do seu próprio arquivo.
Robots.txt, sitemap e canonical fazem parte do SEO técnico incluso na criação de sites da Web Pixel.
Como usar a ferramenta
- 1
Cole a URL do site
URL raiz, sem caminho específico.
- 2
Ou cole o conteúdo do robots.txt
Se for staging ou local, cole direto.
- 3
Veja a análise
Sintaxe, regras por user-agent, sitemap declarado e problemas.
Ferramentas relacionadas
- Ferramentas de SEO
Validador de Canonical Tag
Verifique se a tag canonical de qualquer URL está bem configurada: se existe, se usa endereço absoluto e se aponta para a própria página.
Acessar - Ferramentas de SEO
Gerador de Sitemap XML
Crie um sitemap.xml válido a partir de uma lista de URLs, com lastmod, priority e changefreq, no padrão do protocolo sitemaps.org.
Acessar - Ferramentas de SEO
Gerador de Hash MD5, SHA-1, SHA-256
Gere hashes MD5, SHA-1, SHA-256 e SHA-512 de qualquer texto. Útil para verificação de integridade, senhas e checksums.
Acessar
Perguntas frequentes sobre verificador de robots.txt
As respostas para as principais dúvidas dos nossos clientes. Não encontrou o que procurava? Entre em contato.
- Não. Sem o arquivo, os robôs entendem que podem rastrear tudo. O robots.txt importa quando você quer bloquear áreas específicas, como painel administrativo, busca interna ou URLs com parâmetros.
- Não. <code>User-Agent: *</code> aplica a regra a todos. Use bots específicos só quando quiser regra diferente para Google e Bing.
- Adicione <code>Disallow: /admin/</code> sob a regra do user-agent. Com a barra final, bloqueia só o diretório; sem ela, <code>Disallow: /admin</code> também bloqueia endereços como <code>/admin-antigo.html</code>.
- Não necessariamente. A URL bloqueada pode continuar indexada, sem descrição, se houver links para ela. Para remover, use <code>noindex</code> com a página liberada para rastreamento. Para esconder com urgência, a ferramenta de remoção do Search Console oculta a URL por cerca de seis meses.
Precisa de um site profissional para sua empresa?
Site institucional a partir de R$ 790, no ar em 10 a 20 dias úteis. Solicite seu orçamento sem compromisso.