CloudflareでAIのクローラーを止めていませんか｜809サイトの20%が、サーバーの段階で拒否していた【確認と解除の手順】
公開日: ／ 更新日: ／ カテゴリ: AI検索対策 ／ 執筆: エラバレル
「robots.txtには何も書いていないのに、AIに読まれていないかもしれないと言われた」「制作会社にCloudflareを入れてもらったけれど、AIのことは何も聞いていない」。AI検索対策を始めると、こうした「知らないところで止まっている」問題にぶつかることがあります。
先に結論をお伝えします。AIのクローラーは、robots.txt だけでなく、CloudflareなどのCDNや、レンタルサーバーの機能でも止められます。この場合、robots.txt を見ても何も書かれていないので、止まっていることに気づきにくいのが問題です。サーバーやCDNの管理画面を一度確認し、止めるかどうかを自分で選んでください。
選ばれるAI診断が2026年10月に、7業種の公式サイト809件に、AIのクローラーと同じ名前（User-Agent）で接続してみたところ、ChatGPTの学習用のクローラー（GPTBot）の名前では160件（20%）が拒否（403）されました。robots.txt でAIを名指しで止めていたサイトは、ほんの数件だったにもかかわらずです。
この記事では、AIのクローラーが止まる仕組み、調査で分かった実態、どこで止まっているのかを確かめる方法、Cloudflare・レンタルサーバーでの解除の手順、そして「学習用だけ止める」設定の考え方をまとめます。
この記事でわかること
- AIのクローラーとは何か、学習用と検索用の違い
- robots.txt 以外でAIが止まる仕組み（CDN・レンタルサーバー）
- 809サイトの調査で分かった、拒否されていたクローラーとサーバー
- 自分のサイトが止まっているかを確かめる3つの方法
- Cloudflare・さくらのレンタルサーバーでの解除の手順
- 止めるなら学習用だけにする設定の考え方
AIのクローラーとは？ 学習用と検索用の違い
クローラーは、ホームページを自動で読みに来るプログラムです。Googleの検索のための Googlebot が有名ですが、ChatGPT・Claude・PerplexityなどのAIの会社も、それぞれのクローラーを動かしています。
AIのクローラーは、大きく2種類に分かれます。
| 種類 | 何のために読むか | 主な名前 |
|---|---|---|
| 学習用 | AIの「知識」を作るための文章を集める | GPTBot、ClaudeBot、Google-Extended、CCBot |
| 検索用・利用者の依頼用 | AIが質問に答えるときに、最新のページを探して読む | OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot |
AIが検索して答えるときに出典として示されるのは、検索用のクローラーが読んだページです。学習用のクローラーは、すぐに回答に出るわけではなく、AIが将来身につける知識の材料になります。クローラーの名前と役割の一覧は、AIクローラー一覧の記事にまとめています。
User-Agent（ユーザーエージェント）とは
クローラーやブラウザがホームページに接続するときに名乗る「名前」のことです。GPTBot なら「GPTBot」という文字を含む名前で接続してきます。サーバーやCDNは、この名前を見て「AIのクローラーだから断る」といった判定をします。
AIのクローラーが止まる3つの場所
| 止まる場所 | 仕組み | 気づきやすさ |
|---|---|---|
| robots.txt | クローラーに「ここは読まないで」とお願いするファイル。行儀のよいクローラーは従う | ファイルを開けば分かる |
| CDN（Cloudflareなど） | サイトの手前で通信を中継するサービスが、AIの名前の接続を断る | 管理画面を見ないと分からない |
| レンタルサーバーの機能 | サーバー会社の「ボット対策」「アクセス制御」が、AIの名前の接続を断る | 管理画面を見ないと分からない |
robots.txt は「お願い」なので、読む側が従うかどうかで決まります。一方、CDNやサーバーでの遮断は、接続そのものを断る（403という「拒否」の応答を返す）ため、クローラーはページを読めません。robots.txt がきれいでも、サーバーの手前で止まっていることがあるのが、この記事のいちばん大事な点です。
809サイトで分かったこと
ここからは、選ばれるAI診断の調査結果です。ブラウザと同じ名前で開けた809サイトに、AIのクローラーの名前で接続した結果です。
| クローラーの名前 | 用途 | 拒否（403）されたサイト |
|---|---|---|
| GPTBot | ChatGPTなどの学習用 | 160件（20%） |
| ClaudeBot | Claudeなどの学習用 | 150件（19%） |
| PerplexityBot | Perplexityの検索用 | 5件 |
| ChatGPT-User | ChatGPTが利用者の依頼でページを開くとき | 4件 |
| OAI-SearchBot | ChatGPTの検索用 | 2件 |
止められていたのは、ほとんどが学習用のクローラーでした。ChatGPTやPerplexityの検索用のクローラーを止めていたサイトは、ごくわずかです。
また、2026年10月2日に見直した採点基準で22業種・2,296の公式サイトを再診断したところ、robots.txt で検索用のAIのクローラーを塞いでいた（「AI検索のクローラーを塞いでいないか」が不足または一部不足）サイトは1%でした。robots.txt で止めているサイトはほとんどなく、止まっているとすれば、サーバーやCDNの段階だということが分かります。
調査の結果
- 809サイトのうち、GPTBot（学習用）の名前で拒否されたのは160件（20%）
- ClaudeBot（学習用）の名前で拒否されたのは150件（19%）
- 検索用の OAI-SearchBot は2件、PerplexityBot は5件だけ
- さくらのレンタルサーバーのサイトは92件中87件（95%）でGPTBotを拒否
- Cloudflare経由のサイトは45件中28件（62%）でGPTBotを拒否
- 2,296サイトの再診断で、robots.txt で検索用AIを塞いでいたのは1%
どこで止めていたか
止めていたサイトを、使っているサーバーごとに見ると、はっきりした偏りがありました。
| サーバー・CDN | GPTBotを拒否していたサイト |
|---|---|
| さくらのレンタルサーバー | 87 / 92件（95%） |
| Cloudflare経由 | 28 / 45件（62%） |
| エックスサーバー | 1 / 173件 |
| ロリポップ | 2 / 77件 |
| AWS・Google Cloud・ヘテムル・ConoHa | 0件 |
さくらのレンタルサーバーには、AIのボットのアクセスを制御する機能（ウェブサイトアクセス制御）があります。調べたサイトの95%で止まっていたことから、多くのサイトでこの機能が有効になっていると考えられます（初期設定については、公式の説明には明記されていません）。
Cloudflareは、2025年7月から、新しく追加されたドメインで「AIの学習用ボットをブロックする」設定を初期状態で有効にしています。
どちらも、運営者が意識して設定したのではなく、サーバーやCDNの初期設定のまま止まっているケースが多いと考えられます。
この調査で分からないこと
この調査は、AIのクローラーと同じ名前で、AIの会社とは別の場所から接続したものです。名前で判定する遮断は分かりますが、AIの会社のIPアドレス（接続元の住所のような番号）で判定する遮断は分かりません。実際のAIのクローラーが、もっと多くのサイトで止められている可能性もあります。
学習用が止まっていると、何が起きるか
| 止まっているもの | 影響 |
|---|---|
| 学習用（GPTBot・ClaudeBot など） | 将来のAIの「知識」に、あなたの店や会社のことが入りにくくなる。検索の回答への表示には、直接は影響しない |
| 検索用（OAI-SearchBot・PerplexityBot など） | そのAIの検索の回答や出典に出なくなる |
学習用を止めるかどうかは、商売の考え方次第です。有料の記事やデータを売っているなら、止める理由があります。一方、集客したい店や事務所なら、AIに店の名前や特徴を知ってもらうほうが得、という考え方もあります。
大事なのは、知らないうちに止まっている状態をなくし、自分で選ぶことです。
たとえば、お客さんがChatGPTに「〇〇市で評判の工務店は？」と聞いたとき、AIが検索せずに自分の知識だけで答えることがあります。そのときに名前が挙がるかどうかは、学習用のクローラーが過去にどれだけ情報を集められたかに左右されます。学習用を止めることには、こうした場面で名前が出にくくなる面があることも知ったうえで、判断してください。
業種ごとの考え方の例
〇〇整体院・〇〇工務店のように、地域のお客さんに来てもらいたい店や会社：学習用も許可して、AIに店の名前や特徴を知ってもらうほうが得になりやすい。
〇〇塾のように、有料の教材や問題をホームページに載せている場合：教材のページだけは学習用を止める、という選び方もある。
どちらの場合も、検索用（OAI-SearchBot、PerplexityBot など）は止めない。
自分のサイトが止まっているか確かめる
1. robots.txt を見る
まず https://自分のドメイン/robots.txt を開き、AIの名前に Disallow: / がないか確認します（robots.txtの確認方法の記事）。ここに何もなくても、次の2と3で止まっていることがあります。
2. サーバー・CDNの管理画面を見る
| 使っているもの | 見る場所 |
|---|---|
| Cloudflare | ダッシュボード → 対象のドメイン →「AI Crawl Control」（または「セキュリティ → ボット」）の「AIボットをブロック」「AIトレーニング用のボット」 |
| さくらのレンタルサーバー | サーバーコントロールパネル →「セキュリティ」→ ウェブサイトアクセス制御（AIボット） |
| エックスサーバー | サーバーパネルの「AIクローラー遮断設定」 |
| その他のレンタルサーバー | 「セキュリティ」「アクセス制限」「WAF」「ボット」などの設定 |
3. 選ばれるAI診断で確認する
選ばれるAI診断では、ChatGPT・Perplexity・Claude・Google・Bingの検索用のクローラーを robots.txt で止めていないかを確認できます。サーバーやCDNでの遮断は外からは完全には判定できないため、2の管理画面の確認とあわせて使ってください。
自分のサイトを、無料で診断するどのサーバーを使っているか分からないとき
制作会社にホームページを任せていると、どのサーバーやCDNを使っているか分からないことがあります。その場合は、次の方法で手がかりがつかめます。
- レンタルサーバーの契約の請求書やメールを探す（サーバー会社の名前が書いてある）
- ドメインの管理画面で、ネームサーバーを見る（「〇〇.ns.cloudflare.com」ならCloudflare）
- 制作会社に「サーバーとCDNはどこを使っていますか」「AIのボットを止める設定は入っていますか」と聞く
確認のチェックリスト
- robots.txt に、AIの名前で
Disallow: /が書かれていない - 使っているレンタルサーバーとCDNの名前が分かっている
- サーバーの管理画面で、AIボットの制御の設定を見た
- Cloudflareを使っているなら、AIボットのブロックとボットファイトモードの設定を見た
- 検索用のクローラー（OAI-SearchBot、PerplexityBot など）が許可されている
- 学習用を止めるかどうかを、自分で決めた
解除の手順
Cloudflareの場合
- Cloudflareのダッシュボードにログインし、対象のドメインを開く
- 「AI Crawl Control」を開く（古い画面では「セキュリティ → ボット」の中）
- 「AIボットをブロック」の設定を確認する
- 学習用も許可したいならオフにする。学習用だけ止めて検索用は許可したいなら、検索用のクローラー（OAI-SearchBot、PerplexityBot など）が許可になっていることを確認する
- 「Bot Fight Mode（ボットファイトモード）」がオンになっていると、正規のクローラーまで止まることがあるので、あわせて確認する
Cloudflareの画面は、更新で名前や場所が変わることがあります。見つからない場合は、Cloudflareのダッシュボードの検索で「AI」「Bot」と入れると、該当の設定にたどり着けます。
さくらのレンタルサーバーの場合
- サーバーコントロールパネルにログインする
- 左のメニューの「セキュリティ」を開く
- ウェブサイトアクセス制御の、AIボットの項目を確認する
- 許可したいボットのチェックを外して保存する
公式の説明では、Googlebotなど検索エンジンのボットは、この機能の対象外とされています。
そのほかのレンタルサーバー
サーバー会社のサポートページで「AIクローラー」「AIボット」「ボット対策」と検索すると、設定の場所が見つかります。WAF（ウェブアプリケーションファイアウォール。不正なアクセスを防ぐ仕組み）の設定の中に、ボットを止める項目がある場合もあります。
解除するときの注意
セキュリティの設定をまとめて全部オフにするのはやめてください。ボット対策には、不正なログインや大量のアクセスを防ぐ役割もあります。オフにするのは「AIボット」「AIクローラー」に関する項目だけにし、ほかのセキュリティ設定はそのまま残します。制作会社が設定している場合は、変える前に相談してください。
止めるなら、学習用だけにする
「学習には使われたくないが、AIの検索には出たい」という場合は、学習用と検索用を分けて設定します。
| 止めてよい（学習用） | 止めない（検索用・利用者の依頼用） |
|---|---|
| GPTBot、ClaudeBot、Google-Extended、CCBot、Applebot-Extended | OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot、Claude-User、Googlebot、bingbot |
CloudflareやレンタルサーバーのAIボット対策が、どの名前を止めているかは、サービスによって違います。検索用まで止めていないか、必ず確認してください。
robots.txt で学習用だけを止める場合は、次のように書きます。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /「止める・止めない」は半年に1回見直す
AIの会社は、新しいクローラーを追加したり、名前を変えたりします。サーバーやCDNの側でも、新しい機能が初期状態で有効になることがあります。半年に1回くらい、robots.txt と管理画面の設定をまとめて見直すと、知らないうちに止まっている状態を防げます。
よくある質問
学習用を止めると、ChatGPTに店が出なくなりますか？
ChatGPTの検索の回答には、検索用のクローラー（OAI-SearchBot）が読んだ情報が使われます。学習用（GPTBot）を止めても、検索用が許可されていれば、検索の回答には出られます。ただ、AIが検索せずに答える場面では、店のことを知らない可能性が高くなります。
Cloudflareを使っているか分かりません。
ドメインの管理画面でネームサーバーが「〇〇.ns.cloudflare.com」になっていれば、Cloudflareを使っています。制作会社が設定している場合は、制作会社に確認してください。
知らないうちに設定が変わることはありますか？
サーバーやCDNのサービス側で、新しい機能が初期状態で有効になることがあります。半年に1回くらい、robots.txt と管理画面の設定を見直すと安心です。
Googleの検索やAIによる概要には影響しますか？
調査で止まっていたのは、ほとんどが GPTBot や ClaudeBot などの学習用でした。Googleの検索は Googlebot が読んでいて、さくらのレンタルサーバーの機能では対象外とされています。ただし、Cloudflareのボットファイトモードのように広く止める設定では、影響が出ることもあるので、設定を確認してください。
「403」とは何ですか？
ホームページに接続したときに、サーバーが返す応答の番号のひとつで、「アクセスを拒否しました」という意味です。ふつうのページなら「200（成功）」が返ります。ブラウザでは開けるのに、AIのクローラーの名前で接続すると403が返る場合は、名前を見て断る設定が入っているということです。
エックスサーバーやロリポップは大丈夫ですか？
今回の調査では、エックスサーバーは173件中1件、ロリポップは77件中2件だけがGPTBotを拒否していて、ほとんどのサイトは止まっていませんでした。ただし、エックスサーバーには「AIクローラー遮断設定」があるので、自分で有効にしていないかは管理画面で確かめてください。
止まっていたのを解除したら、すぐにAIに出るようになりますか？
すぐには変わりません。クローラーがもう一度読みに来て、その情報が使われるまでには時間がかかります。また、AIに紹介されるかどうかは、ページの中身や運営者の情報によっても決まります。解除とあわせて、運営者の情報や、質問に答える文章も整えてください。
まとめ
AIのクローラーの遮断について、大事な点をまとめます。
この記事のまとめ
- AIのクローラーは、robots.txt だけでなく、CloudflareやレンタルサーバーでもAIが止められる。robots.txt を見ても分からない
- 809サイトにAIの名前で接続すると、GPTBot（学習用）は20%、ClaudeBot（学習用）は19%のサイトで拒否された。検索用はほとんど止まっていなかった
- さくらのレンタルサーバーは95%、Cloudflare経由は62%で、学習用が拒否されていた。初期設定のままのケースが多いと考えられる
- robots.txt で検索用AIを塞いでいたサイトは、2,296サイトの再診断で1%だけ
- 止めるかどうかは自分で選ぶ。止めるなら学習用だけにして、検索用は許可する
- 解除するときは、AIボットの項目だけを変え、ほかのセキュリティ設定は残す
AIのクローラーへの対応も含めて、自分のサイトの状態をまとめて確かめてみてください。選ばれるAI診断なら、URLを入れるだけで、22項目の判定と理由を無料で確認できます。
自分のサイトを、無料で診断する参考にした資料
- ウェブサイトアクセス制御を設定したい（さくらのサポート情報）
- AIndependence（AIとの分立）を宣言しましょう（Cloudflare ブログ）
- Overview of OpenAI Crawlers（OpenAI）
調査の方法：2026年10月、選ばれるAI診断で診断した7業種の公式サイトのうち、ブラウザと同じ名前で開けた809件のトップページに、GPTBot・ClaudeBot・OAI-SearchBot・ChatGPT-User・PerplexityBot の名前（User-Agent）で接続し、応答を比べました。サーバー会社は、IPアドレスの逆引きと応答のヘッダーから判定しています（判定できなかったサイトもあります）。AIの会社のIPアドレスから接続したものではないため、IPアドレスで判定する遮断は分かりません。robots.txt で検索用AIを塞いでいたサイトの割合（1%）は、2026年10月2日に見直した採点基準で22業種の公式サイト2,296件を再診断した結果です。個別のサイト名は公開していません。