Gerador robots.txt
Crie um ficheiro robots.txt: agentes, permissões, sitemap.
- Instantânea
- Grátis
- Privada (processada localmente)
- Sem registo
Oriente os robôs, sem erro de sintaxe
Um robots.txt mal escrito pode bloquear todo o seu site por acidente. Esta ferramenta monta um ficheiro válido a partir das suas escolhas: predefinições por CMS, caminhos a excluir, sitemap. Mantém o controlo, sem risco de gralha.
-
Escolha uma predefinição
Permitir tudo, bloquear tudo, ou um CMS (WordPress, Shopify, Joomla).
-
Afine as regras
User-agent, caminhos não permitidos, atraso de rastreio, sitemap.
-
Coloque o ficheiro
Copie o resultado para um ficheiro robots.txt na raiz do site.
As diretivas essenciais
| Diretiva | Efeito |
|---|---|
| User-agent: * | Aplica-se a todos os robôs |
| Disallow: /admin/ | Proíbe o rastreio de /admin/ |
| Disallow: | Não proíbe nada (tudo permitido) |
| Sitemap: … | Indica o URL do mapa do site |
Tudo é gerado localmente, no seu navegador. Verifique sempre o seu ficheiro na Search Console antes de o publicar num site em produção.
Perguntas frequentes
Para que serve o ficheiro robots.txt?
Colocado na raiz de um site (https://exemplo.com/robots.txt), indica aos robôs dos motores de busca que partes explorar ou evitar. É uma convenção de cortesia: os robôs respeitadores seguem-na, mas não bloqueia tecnicamente o acesso.
Bloquear uma página basta para a esconder do Google?
Não. «Disallow» impede o rastreio, não a indexação: uma página bloqueada pode continuar a aparecer nos resultados se outros sites lhe apontarem. Para a excluir mesmo, use uma etiqueta meta «noindex» ou proteção por palavra-passe.
O que significa um «Disallow:» vazio?
Uma linha «Disallow:» sem valor permite tudo: o robô pode rastrear todo o site. Pelo contrário, «Disallow: /» bloqueia tudo. É a diferença entre «nada proibido» e «tudo proibido».
Deve-se indicar o sitemap aqui?
É recomendado: a linha «Sitemap:» dá aos motores o URL do seu mapa do site, o que acelera a descoberta das suas páginas. Use um URL absoluto e completo, por exemplo https://exemplo.com/sitemap.xml.