robots.txt-Generator
Erzeugen Sie eine robots.txt-Datei mit eigenen Allow-/Disallow-Regeln, Crawl-Delay und Sitemap-Verweis – sofort in Ihrem Browser.
So verwenden Sie das Tool „robots.txt-Generator“
- Geben Sie den User-Agent ein, für den die Regeln gelten. Verwenden Sie * für alle Crawler.
- Listen Sie die zu sperrenden Pfade auf, z. B. /admin/, einen pro Zeile.
- Listen Sie Pfade auf, die innerhalb eines gesperrten Ordners ausdrücklich erlaubt sein sollen.
- Fügen Sie optional einen Crawl-Delay und Ihre Sitemap-URL hinzu, klicken Sie dann auf Ausführen und speichern Sie das Ergebnis als robots.txt im Stammverzeichnis Ihrer Website.
So funktioniert das Tool „robots.txt-Generator“
Die robots.txt ist eine Textdatei im Stammverzeichnis einer Domain, die regelkonformen Crawlern mitteilt, welche URLs sie abrufen dürfen. Der Generator schreibt eine User-agent-Zeile, gefolgt von Ihren Disallow- und Allow-Regeln; bei Konflikten wendet Google den spezifischsten (längsten) Pfad an. Eine Sitemap-Zeile hilft Suchmaschinen, Ihre XML-Sitemap zu finden.
Die robots.txt steuert das Crawling, nicht die Indexierung: Eine gesperrte Seite kann trotzdem in den Ergebnissen erscheinen, wenn andere Websites auf sie verlinken. Um eine Seite aus den Ergebnissen herauszuhalten, erlauben Sie das Crawling und setzen Sie stattdessen ein Meta-Robots-Tag noindex. Google ignoriert Crawl-delay, Bing und einige andere beachten es jedoch.
Häufig gestellte Fragen
- Ist dieses Tool kostenlos?
- Ja. Sie können eine robots.txt-Datei kostenlos und ohne Konto erzeugen.
- Wo lege ich die robots.txt ab?
- Speichern Sie sie als robots.txt im Stammverzeichnis Ihrer Website, z. B. https://example.com/robots.txt.
- Wofür ist der Crawl-Delay da?
- Er bittet regelkonforme Crawler, zwischen zwei Anfragen eine bestimmte Anzahl Sekunden zu warten. Nicht alle Suchmaschinen beachten ihn – Google zum Beispiel ignoriert ihn.