Gerador de robots.txt
Gere um arquivo robots.txt com regras allow/disallow personalizadas, atraso de rastreamento e referência ao sitemap, na hora, no seu navegador.
Como usar a ferramenta Gerador de robots.txt
- Informe o user-agent ao qual as regras se aplicam. Use * para todos os rastreadores.
- Liste os caminhos a bloquear, como /admin/, um por linha.
- Liste os caminhos que devem ser permitidos explicitamente dentro de uma pasta bloqueada.
- Se quiser, adicione um atraso de rastreamento e a URL do sitemap; depois clique em Executar e salve o resultado como robots.txt na raiz do site.
Como funciona a ferramenta Gerador de robots.txt
O robots.txt é um arquivo de texto simples na raiz de um domínio que diz aos rastreadores que seguem o padrão quais URLs podem acessar. O gerador escreve uma linha User-agent seguida das suas regras Disallow e Allow; quando há conflito entre regras, o Google aplica o caminho mais específico (o mais longo). Uma linha Sitemap ajuda os buscadores a encontrar seu sitemap XML.
O robots.txt controla o rastreamento, não a indexação: uma página bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela. Para manter uma página fora dos resultados, permita o rastreamento e adicione uma meta tag robots noindex. O Google ignora o Crawl-delay, mas o Bing e outros o respeitam.
Perguntas frequentes
- Esta ferramenta é grátis?
- Sim. Gere um arquivo robots.txt sem custo e sem precisar de cadastro.
- Onde coloco o robots.txt?
- Salve-o como robots.txt na raiz do seu site, por exemplo https://example.com/robots.txt.
- Para que serve o atraso de rastreamento?
- Ele pede aos rastreadores que seguem o padrão que esperem alguns segundos entre as solicitações. Nem todos os buscadores respeitam; o Google, por exemplo, ignora.