Générateur de robots.txt
Générez un fichier robots.txt avec des règles allow/disallow personnalisées, un délai d'exploration et la référence du sitemap, instantanément dans votre navigateur.
Comment utiliser l'outil Générateur de robots.txt
- Saisissez le user-agent concerné par les règles. Utilisez * pour tous les robots.
- Listez les chemins à bloquer, comme /admin/, un par ligne.
- Listez les chemins à autoriser explicitement à l'intérieur d'un dossier bloqué.
- Ajoutez éventuellement un délai d'exploration et l'URL de votre sitemap, puis cliquez sur Lancer et enregistrez le résultat sous le nom robots.txt à la racine de votre site.
Comment fonctionne l'outil Générateur de robots.txt
Le robots.txt est un fichier texte placé à la racine d'un domaine qui indique aux robots respectueux des règles quelles URL ils peuvent explorer. Le générateur écrit une ligne User-agent suivie de vos règles Disallow et Allow ; en cas de conflit, Google applique le chemin le plus spécifique (le plus long). Une ligne Sitemap aide les moteurs de recherche à trouver votre sitemap XML.
Le robots.txt contrôle l'exploration, pas l'indexation : une page bloquée peut quand même apparaître dans les résultats si d'autres sites la citent. Pour exclure une page des résultats, autorisez l'exploration et ajoutez plutôt une balise meta robots noindex. Google ignore Crawl-delay, mais Bing et quelques autres le respectent.
Questions fréquentes
- Cet outil est-il gratuit ?
- Oui. Générez un fichier robots.txt gratuitement, sans créer de compte.
- Où placer le fichier robots.txt ?
- Enregistrez-le sous le nom robots.txt à la racine de votre site, par exemple https://example.com/robots.txt.
- À quoi sert le délai d'exploration ?
- Il demande aux robots respectueux des règles d'attendre un certain nombre de secondes entre deux requêtes. Tous les moteurs ne le respectent pas : Google, par exemple, l'ignore.