robots.txt チェッカー
公開robots.txtを取得するか貼り付けます。確認したい正確なパスとユーザーエージェントをテストし、どのルールが適用されるかを見ます。
robotsポリシーの結果
URLを入力するかファイルを貼り付けると、適用ルールとAIクローラー一覧を確認できます。
入力されたテキストまたは公開robots.txtの応答を評価します。クローラーが実際に取得・インデックス登録することは証明しません。
robots.txt チェッカーで確認できること
robots.txtとして有効な応答か
取得した内容や貼り付けた内容が robots.txt として読めるかを確認します。空の本文、HTML、指示のない応答を「すべて許可」とは扱いません。
ユーザーエージェントごとのグループ
User-agent、Allow、Disallow、Sitemap を読み取り、空行やコメントで現在のグループを誤って閉じないようにします。
指定したパスの判定
対象パスとユーザーエージェントに実際に当たるルールを示し、代表的なAIクローラーについても一致したルールと根拠を並べます。
適用されたルールを確認して直す
見つける
気になるパスとユーザーエージェントを先に指定し、ファイルの先頭だけでなく一致したグループ全体を読みます。
直す
広すぎる Disallow を見直し、必要な例外を追加します。コロン抜けや User-agent のない指示も修正します。
再テストする
公開後に同じパスとユーザーエージェントで再実行し、レスポンスそのものも有効になっているか確かめます。
このツールの制限事項
- この結果は確認できた robots.txt の応答とルールを示すもので、クロール、インデックス、AIによる引用を保証しません。
- AIクローラーの名前はユーザーエージェント文字列であり、各サービスの実際の運用を監視するものではありません。
- リダイレクトも公開URLとSSRF対策の範囲で扱い、別オリジンへ無制限に追従することはありません。
robots.txt のよくある質問
空行でグループは終わりますか？
終わりません。空行やコメントだけの行は現在のグループに残り、次の User-agent またはファイル末尾で区切られます。
なぜ許可ではなく不明になるのですか？
不正な応答や解釈できない記述は、許可の根拠になりません。確認できないものは、確認済みの許可とは分けて表示します。
AIに引用されるかも分かりますか？
分かりません。指定したパスとユーザーエージェントに対するテキスト上の判定だけを行い、検索結果や引用を観測しません。