Pembuat robots.txt
Buat file robots.txt dengan aturan allow/disallow khusus, jeda perayapan, dan referensi sitemap langsung di browser Anda.
Cara menggunakan Pembuat robots.txt
- Masukkan user-agent yang dikenai aturan. Gunakan * untuk semua bot.
- Tulis jalur yang akan diblokir, seperti /admin/, satu per baris.
- Tulis jalur yang diizinkan secara eksplisit di dalam folder yang diblokir.
- Jika perlu, tambahkan jeda perayapan dan URL sitemap Anda, lalu klik Jalankan dan simpan hasilnya sebagai robots.txt di root situs Anda.
Cara kerja Pembuat robots.txt
robots.txt adalah file teks di root domain yang memberi tahu crawler yang patuh URL mana yang boleh dirayapi. Pembuat ini menulis baris User-agent diikuti aturan Disallow dan Allow Anda; jika terjadi konflik, Google menerapkan jalur yang paling spesifik (paling panjang). Baris Sitemap membantu mesin pencari menemukan sitemap XML Anda.
robots.txt mengatur perayapan, bukan pengindeksan: halaman yang diblokir masih bisa muncul di hasil pencarian jika situs lain menautkannya. Untuk mengeluarkan halaman dari hasil pencarian, izinkan perayapan dan tambahkan meta tag robots noindex. Google mengabaikan Crawl-delay, tetapi Bing dan beberapa lainnya mematuhinya.
Pertanyaan yang sering diajukan
- Apakah alat ini gratis?
- Ya. Buat file robots.txt secara gratis, tanpa perlu akun.
- Di mana file robots.txt harus diletakkan?
- Simpan dengan nama robots.txt di root situs Anda, misalnya https://example.com/robots.txt.
- Apa fungsi jeda perayapan?
- Meminta crawler yang patuh menunggu sejumlah detik di antara permintaan. Tidak semua mesin pencari mematuhinya; Google, misalnya, mengabaikannya.