Generator robots.txt
Generuj plik robots.txt z własnymi regułami allow/disallow, opóźnieniem indeksowania i odnośnikiem do mapy witryny, od razu w przeglądarce.
Jak korzystać z narzędzia Generator robots.txt
- Wpisz user-agent, którego dotyczą reguły. Użyj *, aby objąć wszystkie roboty.
- Wypisz ścieżki do zablokowania, np. /admin/, po jednej w wierszu.
- Wypisz ścieżki, które mają być jawnie dozwolone wewnątrz zablokowanego folderu.
- Opcjonalnie dodaj opóźnienie indeksowania i adres mapy witryny, kliknij Uruchom i zapisz wynik jako robots.txt w katalogu głównym witryny.
Jak działa narzędzie Generator robots.txt
robots.txt to plik tekstowy w katalogu głównym domeny, który informuje przestrzegające zasad roboty, jakie adresy URL mogą indeksować. Generator zapisuje wiersz User-agent, a po nim Twoje reguły Disallow i Allow; w razie konfliktu Google stosuje najbardziej szczegółową (najdłuższą) ścieżkę. Wiersz Sitemap pomaga wyszukiwarkom znaleźć mapę witryny XML.
robots.txt kontroluje indeksowanie przez roboty, a nie umieszczanie w indeksie: zablokowana strona może pojawić się w wynikach, jeśli linkują do niej inne witryny. Aby wykluczyć stronę z wyników, zezwól na jej indeksowanie i dodaj meta tag robots noindex. Google ignoruje Crawl-delay, ale Bing i kilka innych go przestrzega.
Najczęściej zadawane pytania
- Czy to narzędzie jest darmowe?
- Tak. Generuj plik robots.txt za darmo, bez zakładania konta.
- Gdzie umieścić plik robots.txt?
- Zapisz go jako robots.txt w katalogu głównym witryny, np. https://example.com/robots.txt.
- Do czego służy opóźnienie indeksowania?
- Prosi przestrzegające zasad roboty, aby odczekały określoną liczbę sekund między żądaniami. Nie wszystkie wyszukiwarki je respektują – Google na przykład je ignoruje.