SEO Técnico
Robots.txt: O Que É, Como Funciona e Exemplos Prontos
Aprenda o que o robots.txt faz e o que ele não faz, veja exemplos prontos, inclusive para WordPress, e os erros que tiram páginas do Google.
Resumo Rápido
- O robots.txt diz aos robôs dos buscadores quais caminhos do site eles podem visitar.
- Ele controla o rastreamento, não a indexação. Para tirar uma página do Google, use noindex.
- Um único Disallow: / esquecido pode tirar o site inteiro do Google.
O Que É o Robots.txt
É um arquivo de texto simples, sempre na raiz do site, em seudominio.com.br/robots.txt. Os robôs dos buscadores leem esse arquivo antes de visitar as páginas e seguem as regras dele: quais caminhos podem visitar e quais devem evitar.
Cada endereço tem o seu: o robots.txt de www.exemplo.com.br não vale para loja.exemplo.com.br, e o da versão http é diferente do da versão https.
Como Funciona: as Regras Principais
| Regra | O que faz |
|---|---|
User-agent | Diz a qual robô as regras seguintes se aplicam. O asterisco vale para todos. |
Disallow | Caminho que o robô não deve visitar. |
Allow | Libera um caminho dentro de outro bloqueado. |
Sitemap | Endereço completo do sitemap do site. |
Quando duas regras valem para o mesmo endereço, o Google segue a mais específica, ou seja, a de caminho mais longo. Em empate, vale a Allow. Também dá para usar * como curinga e $ para marcar o fim do endereço.
Exemplos Prontos
Liberar tudo e indicar o sitemap
# Libera o site inteiro para todos os robôs
User-agent: *
Disallow:
Sitemap: https://www.exemplo.com.br/sitemap.xmlBloquear a área administrativa e a busca interna
User-agent: *
Disallow: /admin/
Disallow: /busca
Disallow: /*?ordem=
Sitemap: https://www.exemplo.com.br/sitemap.xmlWordPress
O WordPress cria um robots.txt virtual quando não existe um arquivo de verdade. O padrão bloqueia só o painel e libera o arquivo que o painel usa para funcionar:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.exemplo.com.br/wp-sitemap.xmlPlugins como Yoast e Rank Math deixam editar o robots.txt pelo painel. Não bloqueie /wp-content/ nem /wp-includes/: o Google precisa dos arquivos de estilo e de script para ver a página como as pessoas veem.
Bloquear robôs de IA que treinam modelos
Se você não quer que o conteúdo do site seja usado para treinar modelos de IA, dá para bloquear os robôs que fazem isso sem sair da busca. Google-Extended controla o uso pelos modelos do Google sem afetar a Pesquisa; GPTBot é o robô de treinamento da OpenAI.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /Pense antes de bloquear: veja os efeitos para a busca com IA no guia SEO para IA.
O Que o Robots.txt Não Faz
- Não tira página do Google. Uma página bloqueada pode continuar no índice, sem descrição, se outros sites apontarem para ela. Para tirar, libere o acesso e use a marcação noindex.
- Não protege nada. O arquivo é público, e qualquer pessoa pode ler. Nunca liste nele caminhos que você quer esconder: use senha.
- Não aceita noindex. O Google deixou de seguir a regra
Noindexdentro do robots.txt em 2019. - Não controla a frequência de visita do Google. A regra
Crawl-delayé ignorada pelo Google.
Erros que Tiram Páginas do Google
Disallow: /esquecido depois da construção do site, bloqueando tudo.- Bloquear CSS e JavaScript, o que impede o Google de ver a página como as pessoas veem.
- Bloquear uma página para tirá-la do índice, o que impede o Google de ler o
noindexdela. - Robots.txt que responde com erro de servidor: o Google pode suspender o rastreamento do site enquanto o erro durar.
- Letras maiúsculas e minúsculas trocadas: os caminhos diferenciam
/Produtosde/produtos.
Como Testar o Seu Robots.txt
Abra
seudominio.com.br/robots.txtno navegador e leia o que está lá.No Search Console, em Configurações, o relatório do robots.txt mostra o arquivo que o Google leu, quando leu e se encontrou erros.
Para uma página específica, a Inspeção de URL informa se ela está bloqueada pelo robots.txt.
Se o Search Console já mostra páginas bloqueadas, o guia URL bloqueado pelo robots.txt ajuda a decidir o que liberar.
Perguntas Frequentes
Todo site precisa de robots.txt?
Não é obrigatório. Sem o arquivo, o Google entende que pode visitar tudo. Mas ter um, mesmo simples, ajuda a indicar o sitemap e evita que esse endereço responda com erro.
Posso ter regras diferentes para cada robô?
Pode. Cada bloco começa com um User-agent e vale só para aquele robô. O Googlebot segue o bloco com o nome dele, se existir, e ignora o bloco do asterisco.
Mudei o robots.txt. Quanto tempo leva para o Google perceber?
O Google costuma guardar o arquivo por até 24 horas. Depois disso, passa a seguir as regras novas.
Equipe IndexaJá
Escrito pela equipe do IndexaJá, que audita e otimiza sites para o Google com a meta de 100 em todo site. Publicado em 21 de outubro de 2026.