robots.txtの作り方は？
サイトURL、User-agent、Allow・Disallowのパス、サイトマップURLを入力し、ファイルを生成してコピーまたは保存します。
開発・SEOツール
robots.txt作成ツール 🤖
クローラールール、サイトマップURL、クロール間隔を設定してrobots.txtを作成します。
クローラーへの指示許可・拒否ルールコピー・ダウンロード
クローラールール
🛡️ robots.txtはブラウザ内で生成され、入力したルールは送信されません。
robots.txtはセキュリティ対策ではなく、ルールを守るクローラーへの指示です。非公開ファイルや管理画面の保護には使わないでください。
生成されたrobots.txt
生成したルール数
0
ルールを入力してrobots.txtを作成してください。
拒否ルール
0
許可ルール
0
Sitemaps
0
状態
待機中
アップロード先：
https://example.com/robots.txt
ファイル名：
robots.txt
ファイルをサイトのルートにアップロードしてください。例： https://example.com/robots.txt.
robots.txtの確認結果
robots.txtの確認結果がここに表示されます。
User agent
*
クロール間隔
なし
サイトのルート
未設定
クロールの設定
カスタム
| チェック | 結果 |
|---|---|
| 現在の状態 | 入力待ち |
robots.txtのよくある質問
robots.txtはどこに置きますか？
サイトのルートに設置します。例：example.comならhttps://example.com/robots.txtからアクセスできる位置です。
User-agent: * の意味は？
robots.txtを読むすべてのクローラーに適用する指定です。Googlebotなど特定のクローラー向けのルールも設定できます。
Disallow: / は何を意味しますか？
ルールを守るクローラーにサイト全体をクロールしないよう依頼します。検索エンジンの巡回を妨げるため注意してください。
robots.txtで非公開ページを保護できますか？
できません。robots.txtはアクセス制御ではないため、非公開情報には認証や権限設定が必要です。
入力したルールは保存されますか？
いいえ。ファイルはブラウザ内で生成され、コピーやダウンロードに使用できます。
