Robots.txt oluşturucu
Özel allow/disallow kuralları, tarama gecikmesi ve site haritası referansı içeren bir robots.txt dosyasını tarayıcınızda anında oluşturun.
Robots.txt oluşturucu nasıl kullanılır
- Kuralların geçerli olduğu user-agent'ı girin. Tüm botlar için * kullanın.
- Engellenecek yolları, ör. /admin/, her satıra bir tane olacak şekilde listeleyin.
- Engellenmiş bir klasörün içinde açıkça izin verilecek yolları listeleyin.
- İsterseniz bir tarama gecikmesi ve site haritası URL'nizi ekleyin, ardından Çalıştır'a tıklayın ve sonucu sitenizin kök dizinine robots.txt olarak kaydedin.
Robots.txt oluşturucu nasıl çalışır
robots.txt, bir alan adının kök dizinindeki ve kurallara uyan tarayıcılara hangi URL'leri tarayabileceklerini bildiren bir metin dosyasıdır. Oluşturucu bir User-agent satırı ve ardından Disallow ve Allow kurallarınızı yazar; çakışma olduğunda Google en özel (en uzun) yolu uygular. Sitemap satırı, arama motorlarının XML site haritanızı bulmasına yardımcı olur.
robots.txt dizine eklemeyi değil, taramayı kontrol eder: engellenen bir sayfa, başka siteler ona bağlantı verirse yine sonuçlarda görünebilir. Bir sayfayı sonuçlardan çıkarmak için taramaya izin verin ve bunun yerine bir noindex meta robots etiketi ekleyin. Google Crawl-delay yönergesini yok sayar, ancak Bing ve birkaç başka motor buna uyar.
Sıkça sorulan sorular
- Bu araç ücretsiz mi?
- Evet. robots.txt dosyasını ücretsiz ve hesap açmadan oluşturabilirsiniz.
- robots.txt dosyasını nereye koymalıyım?
- Sitenizin kök dizinine robots.txt adıyla kaydedin; ör. https://example.com/robots.txt.
- Tarama gecikmesi ne işe yarar?
- Kurallara uyan tarayıcılardan istekler arasında belirli bir saniye beklemelerini ister. Tüm arama motorları buna uymaz; örneğin Google bunu yok sayar.