Generador de robots.txt
Genera un archivo robots.txt con reglas allow/disallow personalizadas, retardo de rastreo y referencia al sitemap, al instante en tu navegador.
Cómo usar la herramienta Generador de robots.txt
- Introduce el user-agent al que se aplican las reglas. Usa * para todos los rastreadores.
- Escribe las rutas que quieres bloquear, como /admin/, una por línea.
- Escribe las rutas que quieras permitir explícitamente dentro de una carpeta bloqueada.
- Si quieres, añade un retardo de rastreo y la URL de tu sitemap; después, haz clic en Ejecutar y guarda el resultado como robots.txt en la raíz de tu sitio.
Cómo funciona la herramienta Generador de robots.txt
robots.txt es un archivo de texto plano en la raíz de un dominio que indica a los rastreadores que respetan el estándar qué URL pueden solicitar. El generador escribe una línea User-agent seguida de tus reglas Disallow y Allow; cuando las reglas entran en conflicto, Google aplica la ruta coincidente más específica (la más larga). Una línea Sitemap ayuda a los buscadores a encontrar tu sitemap XML.
robots.txt controla el rastreo, no la indexación: una página bloqueada puede aparecer en los resultados si otros sitios enlazan a ella. Para que una página no salga en los resultados, permite el rastreo y añade una metaetiqueta robots noindex. Google ignora Crawl-delay, aunque Bing y otros sí lo respetan.
Preguntas frecuentes
- ¿Esta herramienta es gratuita?
- Sí. Genera un archivo robots.txt sin costo y sin necesidad de registrarte.
- ¿Dónde pongo el archivo robots.txt?
- Guárdalo como robots.txt en la raíz de tu sitio web, por ejemplo https://example.com/robots.txt.
- ¿Para qué sirve el retardo de rastreo?
- Pide a los rastreadores que respetan el estándar que esperen un número de segundos entre solicitudes. No todos los buscadores lo respetan; Google, por ejemplo, lo ignora.