URL Bloqueado pelo Robots.txt: Quando É Problema e Como Liberar

Os Dois Avisos do Search Console

URL bloqueado pelo arquivo robots.txt

A página não está indexada porque uma regra do robots.txt impede o Google de visitá-la. É o esperado para áreas administrativas, carrinho e buscas internas. É problema quando a página devia aparecer na busca.

Página indexada, mas bloqueada pelo robots.txt

A página está no índice, mas o Google não pode ler o conteúdo. Ela foi encontrada por links e entrou no índice sem a visita, e aparece na busca com pouca ou nenhuma descrição. Acontece quando alguém tenta tirar uma página do Google bloqueando no robots.txt, o que não funciona.

Como Liberar uma Página Bloqueada

1. 1

   Na Inspeção de URL, confirme que a página está bloqueada pelo robots.txt.

2. 2

   Abra seudominio.com.br/robots.txt e procure a regra Disallow que corresponde ao caminho da página.

3. 3

   Remova a regra, ou acrescente uma Allow mais específica para o caminho que deve ser liberado.

4. 4

   No Search Console, em Configurações, o relatório do robots.txt mostra quando o Google leu a versão nova.

5. 5

   Peça a indexação das páginas principais e use Validar correção no relatório.

Exemplo: o site bloqueia tudo em /loja/, mas as categorias deveriam aparecer.

# Antes: bloqueia a loja inteira
User-agent: *
Disallow: /loja/

# Depois: libera as categorias e bloqueia só o carrinho
User-agent: *
Disallow: /loja/carrinho
Disallow: /loja/checkout

Para Tirar uma Página do Google

O robots.txt controla a visita, não a indexação. Para tirar uma página do Google:

• Libere a página no robots.txt, para o Google poder visitá-la.
• Coloque a marcação noindex na página.
• Espere o Google visitar e ler a marcação. Para urgência, use também a ferramenta Remoções.
• Depois que a página saiu do índice, você pode voltar a bloquear, se quiser economizar visitas.

Bloqueios que Escapam com Frequência

• Disallow: / esquecido depois da construção do site.
• Bloqueio de pastas de arquivos de estilo e scripts, que impede o Google de ver a página como ela é.
• Regras com curinga amplo demais, como Disallow: /*?, que bloqueiam páginas importantes com parâmetros.
• Robots.txt copiado de outro site, com caminhos que não fazem sentido no seu.
• Plugin de segurança ou de manutenção que reescreve o robots.txt.

Antes de Mudar o Arquivo

Uma linha errada no robots.txt pode tirar o site inteiro do Google, então vale ter cuidado. Guarde uma cópia do arquivo atual antes de editar. Mude uma regra por vez, conferindo se o caminho bloqueado é mesmo o que você pensa, com as letras maiúsculas e minúsculas certas. Depois de publicar, abra o arquivo no navegador para confirmar que a versão nova está no ar, e teste duas ou três páginas importantes na Inspeção de URL para ter certeza de que continuam liberadas.

Perguntas Frequentes