選ばれるAI診断

robots.txtの確認方法｜自分のサイトがAIや検索を止めていないか見る手順【読み方と間違いの実例】

公開日: ／ 更新日: ／ カテゴリ: 確認と設定 ／ 執筆: エラバレル

robots.txtの確認方法｜自分のサイトがAIや検索を止めていないか見る手順【読み方と間違いの実例】

「ChatGPTに聞いても、うちの会社が全然出てこない」「Googleの検索にもなかなか載らない」。そんなとき、意外と見落とされているのが robots.txt（ロボッツ・テキスト）です。書き方を1文字間違えるだけで、Googleにも AIにも出なくなることがあります。

先に結論をお伝えします。**確認は、ブラウザで https://自分のドメイン/robots.txt を開くだけです。** Disallow: / という行があったら、その上の User-agent: に何が書いてあるかを見てください。そこに書かれたクローラーは、サイト全体を読めない設定になっています。

選ばれるAI診断が5業種・472の公式サイトを調べたところ、Googleも含めてすべてのクローラーを全部拒否していたサイトが2件ありました。不動産会社124社では、AIの検索用クローラーを止めていた会社が4社（3%）ありました。

この記事では、robots.txtの役割、確認の手順と読み方、実際に見つかった間違い、robots.txt以外で止まっている場合の見分け方、直し方までをまとめます。

この記事でわかること

  • robots.txtとは何か、何ができて何ができないのか
  • ブラウザで確認する手順と、User-agent・Disallowの読み方
  • 472サイト・22業種の調査で見つかったこと
  • よくある4つの間違いと、正しい書き方
  • robots.txt以外（noindex、サーバー、CDN）で止まっている場合
  • Search Consoleでの確認方法と、直すときの手順

robots.txtとは？ クローラーへの「立ち入り禁止」の案内

robots.txtは、サイトのいちばん上の階層（https://example.com/robots.txt）に置くテキストファイルです。検索エンジンやAIのクローラー（ページを自動で巡回して中身を読むプログラム）に、「このフォルダは読まないでください」と伝える役目があります。

GoogleやBing、ChatGPTやPerplexityなど主要なサービスのクローラーは、ページを読む前にまず robots.txt を確認し、書かれたルールに従います。そのため、robots.txtで「読まないで」と書かれたページは、検索結果やAIの回答に使われにくくなります。

robots.txtでできることrobots.txtでできないこと
クローラーに、読まないでほしいフォルダを伝えるルールを守らないプログラムを止める
AIの検索用と学習用を分けて止めるページを非公開にする（URLを知っていれば誰でも見られる）
サイトマップの場所を伝える検索結果からページを確実に消す（それには noindex を使う）

robots.txt は、だれが書いているのか

自分で robots.txt を作った覚えがなくても、多くのサイトには robots.txt があります。調査でも、472件のうち79%にありました。作っているのは、次のような仕組みです。

  • WordPress：ファイルを置いていなくても、WordPress自体が自動で robots.txt を返します（実際のファイルではない「仮想の robots.txt」）
  • SEOプラグイン：All in One SEO・Yoast SEO・Rank Math などは、仮想の robots.txt に自分の設定を足します
  • ホームページ作成サービス・専用システム：サービス側が自動で作り、初期設定のまま使われていることが多い
  • 制作会社：公開前の検索よけや、セキュリティの設定として書き足していることがある

つまり、運営者が知らないうちに中身が決まっていることが多いファイルです。だからこそ、自分で一度開いて確かめる意味があります。

「検索用」と「学習用」のクローラーの違い

AIの会社は、目的別にクローラーを分けています。検索用（OAI-SearchBot、PerplexityBot、Claude-SearchBot など）は、質問に答えるためにページを読みに来ます。学習用（GPTBot、ClaudeBot、Google-Extended など）は、AIを育てるためのデータを集めます。学習用を止めても、検索の回答には影響しません。

確認の手順

  1. ブラウザのアドレス欄に https://自分のドメイン/robots.txt と入れて開く
  2. 何も表示されない・「見つかりません」なら、robots.txt はない（すべて許可の扱い。問題なし）
  3. 表示されたら、Disallow: の行を探す
  4. Disallow: /（スラッシュだけ）があれば、その上の User-agent: を見る

www のあり・なしや、http と https でサイトが分かれている場合は、実際にお客さんが見ているほうのアドレスで確かめてください。robots.txt は、ドメインごとに別々に扱われます。

User-agent と Disallow の読み方

robots.txt は、「誰に（User-agent）」「どこを読ませないか（Disallow）」の組み合わせで書かれています。

User-agent の中身Disallow: / の意味
*すべてのクローラー（Googleも含む）にサイト全体を読ませない
GPTBot、ClaudeBot、Google-Extended などそのAIの学習用には読ませない（検索には影響しない）
OAI-SearchBot、PerplexityBot、Claude-SearchBot などそのAIの検索の回答に出なくなる
Googlebot、bingbotGoogle・Bingの検索に出なくなる

Disallow:（後ろに何もない）は「すべて許可」、Disallow: /wp-admin/ のように特定のフォルダだけなら、そのフォルダだけ読ませない、という意味です。

よくある robots.txt の読み方

WordPressの初期状態に近い例：
User-agent: * ／ Disallow: /wp-admin/ ／ Allow: /wp-admin/admin-ajax.php ／ Sitemap: https://example.com/wp-sitemap.xml
意味：すべてのクローラーに対して、管理画面のフォルダだけ読ませない。それ以外のページは読んでよい。サイトマップの場所はここ。→ 問題のない状態です。

472サイトで見つかったこと

選ばれるAI診断が2026年9月に、5業種の公式サイト472件の robots.txt を調べた結果です。

状態件数
robots.txt がある372件（79%）
robots.txt がない（すべて許可）100件（21%）
Googleも含めて、すべてのクローラーを全部拒否2件
AIのクローラーを名指しで設定している3件
サイトマップの場所を書いている325件

全部拒否の2件のうち1件は、制作中の検索よけを戻し忘れたと思われる書き方、もう1件は、AIを止めるための書き方の間違いで User-agent: * まで同じまとまりに入っていたものでした。

22業種の再診断と、不動産会社の結果

  • 2026年10月2日に見直した採点基準で22業種・2,296件を再診断すると、AIの検索用クローラーを robots.txt で止めていたサイトは全体の約1%
  • そのうち不動産会社では、124社中4社（3%）が、ChatGPT-User や Claude-SearchBot など、AIの検索に関わるクローラーを止めていた
  • 不動産会社の4社は、ホームページのシステムの初期設定が原因と考えられる

数としては少数ですが、止めているサイトの運営者の多くは、止めていることに気づいていないと考えられます。一度も robots.txt を開いたことがない方は、この機会に確かめてください。

よくある間違い

1. 空行を入れずにAIの名前と * を並べた

User-agent: GPTBot
User-agent: *
Disallow: /

これは「GPTBot と、すべてのクローラーに、全部読ませない」という意味になります。User-agent: の行が続くと、1つのまとまりとして扱われるためです。GPTBotだけ止めたいなら、まとまりを分けます。

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow:

2. Disallow: / と Disallow: を取り違えた

書き方意味
Disallow: /全部読ませない
Disallow:全部読んでよい

1文字の違いで正反対になります。制作中に Disallow: / で検索よけをして、公開のときに戻し忘れる、というのもよくある失敗です。

3. 名前を指定したまとまりに、共通の設定を書き忘れた

名前を指定したまとまり（User-agent: GPTBot など）は、User-agent: * の設定を引き継ぎません。管理画面など共通で止めたいフォルダは、それぞれのまとまりに書きます。

4. 検索用と学習用を取り違えた

GPTBot（学習用）を止めても、ChatGPTの検索（OAI-SearchBot）には出ます。逆に OAI-SearchBot を止めると、学習とは関係なく、ChatGPTの検索の回答に出なくなります。クローラーの種類はAIクローラー一覧の記事で一覧にしています。

「AIに学習されたくない」なら学習用だけを止める

AIに自社の文章を学習されたくない場合は、GPTBot・ClaudeBot・Google-Extended などの学習用だけを止めます。検索用まで止めると、AIの回答で紹介される機会を自分で手放すことになります。迷ったら、検索用は止めないでください。

robots.txt の外で止まっている場合もある

robots.txt に何も書いていなくても、読まれていないことがあります。

止まっている場所確かめ方
ページに noindex が入っているページのソースで noindex を検索（noindexの確認方法の記事）
WordPressの「検索エンジンがサイトをインデックスしないようにする」がオン管理画面の「設定」→「表示設定」（WordPressの検索よけ設定の記事）
レンタルサーバーの「AIクローラー遮断」や「海外からのアクセス制限」がオンサーバーの管理画面のセキュリティ設定
CloudflareなどのCDNで、AIのボットを止める設定がオンCDNの管理画面（CloudflareでAIを止めている場合の記事）

サーバーやCDNで止めている場合は、robots.txt を見ても分かりません。外からは判定しにくいので、使っているサーバーやCDNの設定画面を、一度確かめておくと安心です。

Search Consoleでも確認できる

Search Consoleの「設定」→「robots.txt」で、Googleが最後に読んだ robots.txt と、読み込めたかどうかが分かります。書き換えたあとに、Googleが新しい内容を読んだかどうかの確認にも使えます。

また、「URL検査」で自分のページのURLを調べると、そのページが robots.txt で止められていないかが表示されます。「robots.txt によりブロックされました」と出たら、robots.txt の書き方を見直してください。

Bingについては、Bing Webmaster Tools に同じような確認の機能があります。ChatGPTの検索はBingの検索結果とも関わりが深いので、あわせて確かめておくと安心です（Bing Webmaster Toolsの記事）。

robots.txtの確認チェックリスト

  • https://自分のドメイン/robots.txt を開いて中身を見た
  • User-agent: * の下に Disallow: / がない
  • OAI-SearchBot・PerplexityBot・Claude-SearchBot などの検索用を止めていない
  • 名前を指定したまとまりと User-agent: * の間に空行がある
  • サイトマップの場所（Sitemap: の行）が書かれている
  • サーバーやCDNの「AIクローラー遮断」の設定を確かめた

選ばれるAI診断では、ChatGPT・Perplexity・Claude・Google・Bingの検索用のクローラーを robots.txt で止めていないか、学習用はどうしているかを確かめられます。URLを入れるだけで、22項目の判定と理由を無料で確認できます。

自分のサイトを、無料で診断する

直すときは

使っているもの直し方
WordPress（SEOプラグインあり）SEOプラグインの「robots.txt エディター」（All in One SEO、Yoast SEO、Rank Math など）で編集
WordPress（実際のファイルがサーバーにある）ファイルが優先されるので、FTPやサーバーのファイル管理画面で直接直す
ホームページ作成サービスSEO設定の中の robots.txt の編集画面で直す
不動産向けなどの専用システムシステムの会社に、AIの検索用クローラーを止めていないか問い合わせる

目的別の書き方の見本

よく使う3つの形を見本にしました。自分の目的に近いものを選んで、ドメインの部分を書き換えて使ってください。

見本1：すべてのクローラーに読ませる（いちばん安全）

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

小さな会社のホームページなら、多くの場合これで十分です。サイトマップの場所だけ伝えておきます。

見本2：AIの学習用だけを止め、検索用は許可する

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

学習用の名前ごとにまとまりを分け、間に空行を入れるのがポイントです。最後の User-agent: * のまとまりで、それ以外（Googleの検索やAIの検索用）はすべて許可しています。

見本3：管理画面や会員用のフォルダだけ止める

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /members/

Sitemap: https://example.com/sitemap.xml

特定のフォルダだけを止めるときは、Disallow: の後ろにフォルダの場所を書きます。/members/ は、会員用ページがある場合の例です。

迷ったら「止めすぎない」

robots.txtで止めすぎて困ることはあっても、止めなさすぎて困ることは、小さな会社のホームページではほとんどありません。見せたくないページは、そもそも公開しないか、パスワードをかけるのが確実です。

書き間違いが心配なら、選ぶだけで robots.txt を作れるrobots.txt作成ツールを使ってください。

直したあとの確かめ方

  1. ブラウザで https://自分のドメイン/robots.txt を開き直し、新しい内容になっているか見る（古いままなら、サーバーやCDNのキャッシュを消す）
  2. Search Consoleの「設定」→「robots.txt」で、Googleが新しい内容を読んだか確かめる
  3. 数日おいてから、もう一度診断する

robots.txtは、書き換えたらその日のうちに中身を開いて確かめることを習慣にしてください。サイトマップの場所の書き方はWordPressのサイトマップの記事で説明しています。

よくある質問

robots.txt がないのは問題ですか？

問題ありません。ない場合は「すべて許可」の扱いになります。調査でも21%のサイトにはありませんでした。サイトマップの場所を伝えるために、作っておくと便利です。

直したら、すぐ反映されますか？

クローラーが robots.txt を読み直すまで、1日〜数日かかります。OpenAIは OAI-SearchBot について約24時間と説明しています。

robots.txt で止めれば、検索結果から消えますか？

確実には消えません。robots.txtは「読まないで」というお願いなので、ほかのサイトからリンクされていると、URLだけが検索結果に出ることがあります。検索結果に出したくないページは、noindex を使ってください。

学習用のクローラーを止めると、AIの回答に出なくなりますか？

検索用を止めていなければ、出なくなることはありません。GPTBotを止めても、ChatGPTの検索（OAI-SearchBot）は別に動いています。

どのクローラーを止めればいいか分かりません。

迷ったら、何も止めないのがいちばん安全です。小さな会社のホームページは、AIや検索に紹介されることのほうが大事な場合がほとんどです。学習用だけを止めたい場合は、名前を指定して止めてください。

Allow: という行は何ですか？

「ここは読んでよい」という意味です。Disallow: で止めたフォルダの中の一部だけを許可したいときに使います。WordPressでは、管理画面のフォルダの中の一部のファイルを許可するために使われています。

robots.txt にサイトマップの場所を書く必要はありますか？

必須ではありませんが、書いておくのがおすすめです。Sitemap: https://自分のドメイン/sitemap.xml の1行を足すだけで、検索エンジンにページの一覧の場所を伝えられます。調査では、robots.txtがある372件のうち325件が書いていました。

まとめ

robots.txtの確認で押さえておきたいことをまとめます。

この記事のまとめ

  • 確認は https://自分のドメイン/robots.txt を開くだけ
  • Disallow: / の上の User-agent: が * なら、Googleも含めて全部拒否になっている
  • 472サイトのうち2件は全部拒否。不動産会社124社ではAIの検索用クローラーを止めていた会社が4社（3%）あった
  • 空行の入れ忘れ、Disallow: / と Disallow: の取り違え、検索用と学習用の取り違えに注意
  • robots.txt の外（noindex、WordPressの設定、サーバー、CDN）で止まっている場合もある
  • 直したら、その日のうちに中身を開き、Search Consoleでも確かめる

自分のサイトがAIや検索を止めていないか、選ばれるAI診断で確かめてみてください。URLを入れるだけで、22項目の判定と理由を無料で確認できます。

自分のサイトを、無料で診断する

参考にした資料

調査の方法：2026年9月、選ばれるAI診断で診断した5業種の公式サイト472件（重複を除く）の /robots.txt を取得して集計しました。22業種と不動産会社の数字は、2026年10月2日に見直した採点基準で再診断した結果です（22業種・2,296件、うち不動産会社124社）。個別のサイト名は公開していません。

あわせて読みたい記事