robots.txtジェネレーター
カスタムのAllow/Disallowルール、クロール間隔、サイトマップの参照を含むrobots.txtファイルをブラウザですぐに生成します。
robots.txtジェネレーターの使い方
- ルールを適用するUser-agentを入力します。すべてのクローラーに適用するには * を使います。
- ブロックするパス（/admin/ など）を1行に1つずつ入力します。
- ブロックしたフォルダ内で明示的に許可するパスを入力します。
- 必要に応じてクロール間隔とサイトマップのURLを追加し、「実行」をクリックして、結果をrobots.txtという名前でサイトのルートに保存します。
robots.txtジェネレーターの仕組み
robots.txtはドメインのルートに置くテキストファイルで、ルールを守るクローラーにどのURLを取得してよいかを伝えます。ジェネレーターはUser-agent行に続けてDisallowとAllowのルールを書き出します。競合する場合、Googleは最も具体的な（最も長い）パスを適用します。Sitemap行は、検索エンジンがXMLサイトマップを見つける手助けになります。
robots.txtが制御するのはクロールであり、インデックスではありません。ブロックしたページでも、他のサイトからリンクされていれば検索結果に表示されることがあります。検索結果から除外するには、クロールを許可したうえでnoindexのmeta robotsタグを追加してください。GoogleはCrawl-delayを無視しますが、Bingなど一部は従います。
よくある質問
- このツールは無料ですか？
- はい。アカウント登録なしで、無料でrobots.txtファイルを生成できます。
- robots.txtはどこに置けばよいですか？
- robots.txtという名前で、サイトのルート（例：https://example.com/robots.txt）に保存してください。
- クロール間隔とは何ですか？
- ルールを守るクローラーに、リクエストの間に指定した秒数だけ待つよう求めるものです。すべての検索エンジンが従うわけではなく、たとえばGoogleは無視します。