Generatore di robots.txt
Genera un file robots.txt con regole allow/disallow personalizzate, crawl-delay e riferimento alla sitemap, all'istante nel tuo browser.
Come usare lo strumento Generatore di robots.txt
- Inserisci lo user-agent a cui si applicano le regole. Usa * per tutti i crawler.
- Elenca i percorsi da bloccare, come /admin/, uno per riga.
- Elenca i percorsi da consentire esplicitamente all'interno di una cartella bloccata.
- Facoltativamente, aggiungi un crawl-delay e l'URL della sitemap, poi fai clic su Esegui e salva il risultato come robots.txt nella radice del sito.
Come funziona lo strumento Generatore di robots.txt
Il robots.txt è un file di testo nella radice di un dominio che indica ai crawler rispettosi delle regole quali URL possono esplorare. Il generatore scrive una riga User-agent seguita dalle tue regole Disallow e Allow; in caso di conflitto, Google applica il percorso più specifico (il più lungo). Una riga Sitemap aiuta i motori di ricerca a trovare la tua sitemap XML.
Il robots.txt controlla la scansione, non l'indicizzazione: una pagina bloccata può comunque comparire nei risultati se altri siti la linkano. Per escludere una pagina dai risultati, consenti la scansione e aggiungi invece un meta tag robots noindex. Google ignora Crawl-delay, ma Bing e pochi altri lo rispettano.
Domande frequenti
- Questo strumento è gratuito?
- Sì. Puoi generare un file robots.txt gratis, senza creare un account.
- Dove devo mettere il file robots.txt?
- Salvalo come robots.txt nella radice del tuo sito, ad esempio https://example.com/robots.txt.
- A cosa serve il crawl-delay?
- Chiede ai crawler rispettosi delle regole di attendere un certo numero di secondi tra una richiesta e l'altra. Non tutti i motori di ricerca lo rispettano: Google, ad esempio, lo ignora.