AI向け robots.txt 作成ツール

設置する場所

robots.txt は、サイトのいちばん上の階層に置きます。「あなたのドメイン/robots.txt」で開ける場所です。

WordPressの場合

1. SEOプラグインに robots.txt の編集機能があれば、そこに内容を貼り付けます。All in One SEO、Yoast SEO、Rank Math などにあります。
2. 編集機能がなければ、「robots.txt」という名前のファイルを作って内容を貼り、サーバーのファイルマネージャーやFTPで、WordPressを入れたフォルダのいちばん上に置きます。

すでに robots.txt がある場合は、丸ごと置き換える前に、今の内容を控えておいてください。独自の設定が入っていることがあります。

そのほかのサイトの場合

サーバーにファイルを置ける場合は、ドメインのいちばん上の階層に置きます。Wix、ペライチ、STUDIOなどのサービスでは、robots.txt を自由に編集できないことがあります。各サービスの設定画面を確認してください。

設置したあとの確認方法

1. ブラウザで「あなたのドメイン/robots.txt」を開いて、作成した内容が表示されることを確認します。
2. 選ばれるAI診断で再診断して、「AI検索のクローラーを塞いでいないか」が「問題なし」になることを確認します。

AIのクローラーの2つの種類

AIのクローラーは、目的によって2種類に分かれます。ここを混同して「AIはすべて拒否」にすると、AIの回答にも出なくなります。

Googleの「AIによる概要」は、通常の検索と同じ Googlebot が読んだ内容を使います。Google-Extended を拒否しても、Google検索と「AIによる概要」への掲載には影響しません。

よくある質問

このツールについて、よく聞かれる質問をまとめました。

AIに紹介されたい場合、どの設定を選べばよいですか？

検索・回答用のクローラーは「許可する」を選んでください。学習用のクローラーは、方針に合わせてどちらを選んでも構いません。

学習用のクローラーを拒否すると、AIの回答に出なくなりますか？

検索・回答用のクローラーを許可していれば、AIがその場でサイトを読みに来て回答に使うことはできます。ただし、AIがあらかじめ持っている知識には、あなたのサイトの内容が入りにくくなります。

robots.txt で拒否すれば、必ず読まれなくなりますか？

いいえ。robots.txt はお願いの仕組みで、強制力はありません。主要なAI企業のクローラーは従うと表明していますが、従わないクローラーもあります。確実に止めたい場合は、サーバーやCDNの機能で遮断します。

何も設定しないと、どうなりますか？

robots.txt がない場合や、AIのクローラーについて何も書いていない場合は、すべて許可している扱いになります。AIに紹介されたいだけなら、無理に作る必要はありません。このツールが役に立つのは、学習用だけを拒否したい場合や、今の robots.txt を整理したい場合です。