robots.txtとは？ 書き方の基本と、AIのクローラーの扱い【472サイトの実態つき】
公開日: ／ カテゴリ: 確認と設定 ／ 執筆: エラバレル
「robots.txtという言葉を聞いたけれど、何のためのファイルなのか分からない」「AIに読ませないようにするにはrobots.txtを書けばいいと聞いたが、書き方が不安」。ホームページを自分で管理していると、こうした疑問にぶつかることがあります。
先に結論をお伝えします。robots.txt（ロボッツ・テキスト）とは、検索エンジンやAIのクローラーに「このフォルダは読まないでください」と伝えるための、サイトのいちばん上に置くテキストファイルです。書き方の基本は、User-agent:（誰に）と Disallow:（どこを読ませないか）の2つだけです。そして、集客のためのホームページなら、何も止めない「すべて許可」で十分です。
選ばれるAI診断が5業種・472の公式サイトを調べたところ、robots.txtがあったのは79%でした。一方で、Googleも含めてすべてのクローラーを全部拒否していたサイトが2件ありました。1行の書き間違いで、検索にもAIにも出なくなることがあるファイルです。
この記事では、robots.txtの役割、書き方の基本とルール、AIのクローラーの扱い、目的別の見本、作り方と確認方法までを、順番に説明します。自分のサイトのrobots.txtをすぐ確かめたい方は、robots.txtの確認方法の記事もあわせてご覧ください。
この記事でわかること
- robots.txtとは何か、何ができて何ができないのか
- 4つの基本の命令（User-agent・Disallow・Allow・Sitemap）の書き方
- 置き場所・ファイル名・文字コードなどのルール
- AIのクローラー（検索用・学習用）の扱い方
- 472サイトの調査で分かったrobots.txtの実態
- 目的別の書き方の見本と、作り方・確認方法
robots.txtとは？ クローラーへの「案内板」
検索エンジンやAIのサービスは、クローラー（ページを自動で巡回して中身を読むプログラム）を使って、世界中のホームページを読みに来ています。robots.txtは、そのクローラーに向けて「このフォルダは読まないでください」「サイトマップはここです」と伝える、サイトの入り口に置く案内板のようなファイルです。
robots.txtの決まりは、1990年代から使われてきたもので、2022年には「Robots Exclusion Protocol」としてインターネットの標準の文書（RFC 9309）にまとめられました。Google・Bingのほか、ChatGPT・Claude・Perplexityなど主なAIのサービスのクローラーも、ページを読む前にrobots.txtを確認し、書かれたルールに従うと公表しています。
| robots.txtでできること | robots.txtでできないこと |
|---|---|
| クローラーに、読まないでほしいフォルダを伝える | ルールを守らないプログラムを止める |
| クローラーの名前ごとに、許可・拒否を書き分ける | ページを非公開にする（URLを知っていれば誰でも見られる） |
| サイトマップの場所を伝える | 検索結果からページを確実に消す（それには noindex を使う） |
robots.txtは「お願い」で、強制力はない
robots.txtは、クローラーに対する「お願い」です。主な検索エンジンやAIの会社は守ると公表していますが、名前を名乗らずに読みに来るプログラムは止められません。また、robots.txtは誰でも見られるので、「見られたくないフォルダの場所」を書くと、かえってその場所を知らせることになります。本当に見せたくない情報は、公開しないか、パスワードをかけてください。
robots.txtがなくても問題はない
robots.txtは、置かなくてもかまいません。robots.txtがないサイトは、「すべてのクローラーに、すべてのページを読んでよい」という扱いになります。調査でも、472件のうち21%にはrobots.txtがありませんでした。
ただし、サイトマップの場所を伝えたり、管理画面などのフォルダを止めたりするのに便利なので、置いておくのが一般的です。WordPressのように、ファイルを置かなくても自動でrobots.txtを返す仕組みもあります。
robots.txtの書き方の基本：4つの命令
robots.txtは、次の4つの命令を組み合わせて書きます。
| 命令 | 意味 | 書き方の例 |
|---|---|---|
| User-agent | どのクローラーに向けたルールか | User-agent: *（すべて）、User-agent: GPTBot（GPTBotだけ） |
| Disallow | 読まないでほしい場所 | Disallow: /admin/、Disallow: /（全部） |
| Allow | 読んでよい場所（Disallowの中の一部を許可） | Allow: /admin/public.html |
| Sitemap | サイトマップの場所 | Sitemap: https://example.com/sitemap.xml |
いちばん基本の形は、次のようになります。
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml意味は、「すべてのクローラーに対して、/admin/ から始まる場所は読まないでください。それ以外は読んでかまいません。サイトマップはここにあります」です。
User-agent：誰に向けたルールか
User-agent: の後ろには、クローラーの名前を書きます。*（アスタリスク）は「すべてのクローラー」という意味です。Googlebot（Google検索）、bingbot（Bing検索）、GPTBot（OpenAIの学習用）のように名前を書くと、そのクローラーだけに向けたルールになります。
User-agent: の行と、その下に続く Disallow:・Allow: の行が、1つの「まとまり」になります。まとまりとまとまりの間には、空行を1行入れて区切ります。
Disallow と Allow：どこを読ませないか
Disallow: の後ろには、読まないでほしい場所を、ドメインの後ろの部分（パス）で書きます。Disallow: / はサイト全体、Disallow: /admin/ は /admin/ から始まる場所だけを止めます。後ろに何も書かない Disallow: は「どこを読んでもよい」という意味です。Google・Bingでは、Disallow: /*.pdf$ のように *（何でも）と $（ここで終わる）を使った指定もできます。
==Disallow: / と Disallow: は、1文字の違いで意味が正反対になります。== 制作中に Disallow: / で検索よけをして、公開のときに戻し忘れるのは、よくある事故です。
Allow: は、Disallow: で止めた場所の中の一部だけを許可したいときに使います。WordPressでは、管理画面のフォルダ（/wp-admin/）を止めつつ、その中のファイル1つ（admin-ajax.php）を許可するために使われています。
Sitemap：サイトマップの場所を伝える
Sitemap: の行には、サイトマップ（サイトのページの一覧のファイル）のURLを、https:// から始まる形で書きます。どのまとまりにも属さない行なので、ファイルの最後に書くのが一般的です。WordPressのサイトマップの場所は、WordPressのサイトマップの記事で確かめられます。
書き方のルールと、ルールの優先順位
robots.txtには、守らないとクローラーに読まれない決まりがあります。
置き場所・ファイル名・文字コード
- 置き場所は、サイトのいちばん上の階層だけ。
https://example.com/robots.txtのように、ドメインのすぐ後ろに置きます。https://example.com/blog/robots.txtのようにフォルダの中に置いても、読まれません - **ファイル名は
robots.txt（すべて小文字）。**Robots.txtやrobot.txtは認識されません - ふつうのテキストファイルで、文字コードはUTF-8。 ワープロソフトで作った文書は使えません
- ドメインごとに別々に扱われる。
wwwのあり・なし、httpとhttps、サブドメインは、それぞれ別のサイトとして扱われます - 大きさにも上限がある。 Googleは、500KiBを超える部分を読まないと説明しています。小さな会社のサイトで超えることは、まずありません
大文字・小文字の扱い
User-agent や Disallow などの命令の名前は、大文字・小文字を区別しません。一方、Disallow: の後ろに書くパスは、大文字・小文字を区別します。Disallow: /Admin/ と書いても、/admin/ は止まりません。
ルールがぶつかったときの優先順位
1つのクローラーに当てはまるルールが2つ以上あるときは、次のように決まります（Googleの説明による）。
- 名前を指定したまとまりがあれば、そちらだけが使われる。
User-agent: Googlebotのまとまりがあると、GooglebotはUser-agent: *のまとまりを見ません - パスが長い（より細かい）ルールが優先される。
Disallow: /admin/とAllow: /admin/public.htmlなら、public.html は読まれます - 同じ長さでぶつかったら、Allow（許可）が優先される
1つ目の「名前を指定したまとまりは、* の設定を引き継がない」は、特に間違えやすい点です。管理画面などを共通で止めたいなら、それぞれのまとまりに同じ行を書きます。
空行を入れずに並べると、まとまりがくっつく
User-agent: GPTBot の次の行に、空行を入れずに User-agent: * と書き、その下に Disallow: / を書くと、「GPTBotと、すべてのクローラーに、全部読ませない」という意味になります。User-agent: の行が続くと、1つのまとまりとして扱われるためです。AIだけを止めるつもりが、Google検索まで止めてしまう原因になります。
AIのクローラーの扱い
AIの会社は、目的によってクローラーの名前を分けています。robots.txtでAIを扱うときは、この違いを知っておくことが大切です。
| 種類 | 主な名前 | 止めるとどうなるか |
|---|---|---|
| 検索用 | OAI-SearchBot、Claude-SearchBot、PerplexityBot | そのAIの検索の回答や出典に出なくなる |
| 利用者の依頼用 | ChatGPT-User、Claude-User、Perplexity-User | 利用者に頼まれても、ページを読めなくなる |
| 学習用 | GPTBot、ClaudeBot、Google-Extended、CCBot | AIの学習に使われにくくなる。検索の回答への表示には直接は影響しない |
| 検索エンジン | Googlebot、bingbot | Google・Bingの検索に出なくなる。GoogleのAIによる概要も同じGooglebotの情報を使う |
止めてもよいのは、学習用だけです。検索用を止めると、ChatGPTやPerplexityの回答であなたのサイトが紹介される機会を、自分で手放すことになります。GoogleのAIによる概要に使われたくないからといってGooglebotを止めると、ふつうのGoogle検索にも出なくなります。Googleの学習だけを止めたいなら、Google-Extendedを指定します。
迷ったら、AIのことは何も書かない
robots.txtにAIの名前を書いていなければ、AIのクローラーは「許可」の扱いになります。集客したい小さな会社のホームページなら、わざわざ許可の設定を書き足す必要はありません。学習だけ止めたい場合に、学習用の名前を指定して書き分けます。各社のクローラーの名前は、AIクローラー一覧の記事で詳しく紹介しています。
robots.txt以外で止まっていることもある
robots.txtに何も書いていなくても、レンタルサーバーやCloudflareなどの設定で、AIのクローラーがサーバーの段階で弾かれていることがあります。809の公式サイトにAIのクローラーの名前で接続した調査では、学習用のGPTBotは20%のサイトで拒否されていました。詳しくはCloudflareやサーバーでAIを止めている場合の記事をご覧ください。
472サイトのrobots.txtの実態
選ばれるAI診断が2026年9月に、税理士事務所・整体院・工務店・歯科医院・クリニックの公式サイト472件の robots.txt を取得して調べた結果です。
472サイトの調査結果
- robots.txtがあったのは372件（79%）、なかったのは100件（21%）
- Googleも含めて、すべてのクローラーを全部拒否していたのは2件
- AIのクローラーを名指しで設定していたのは3件
- サイトマップの場所を書いていたのは325件
- 2026年10月2日に見直した採点基準で22業種・2,296件を再診断すると、AIの検索用クローラーを robots.txt で止めていたのは約1%。不動産会社では124社中4社（3%）
全部拒否の2件のうち1件は、User-agent: * の下に Disallow: / と書かれていて、制作中の検索よけを公開後に戻し忘れたと考えられるものでした。もう1件は、AIを止めるための書き方の間違いで、User-agent: * まで同じまとまりに入っていたものでした。
AIを名指ししていた3件のうち2件は、AIのクローラーを許可する設定で、1件はホームページ作成サービスの、AIのクローラーをまとめて止める設定でした。残りの469件は、AIについて何も書いておらず、AIに読まれる状態でした。
止めているサイトは少数ですが、止めているサイトの運営者の多くは、止めていることに気づいていないと考えられます。自分でrobots.txtを書いた覚えがなくても、一度は中身を開いて確かめてください。
目的別の書き方の見本
よく使う形を見本にしました。example.com の部分を自分のドメインに書き換えて使ってください。
見本1：すべてのクローラーに読ませる（小さな会社におすすめ）
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml見本2：AIの学習用だけを止め、検索用は許可する
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml学習用の名前ごとにまとまりを分け、間に必ず空行を入れます。OAI-SearchBotなどの検索用は書いていないので、最後の User-agent: * の「すべて許可」が当てはまります。
見本3：管理画面や会員用のフォルダだけ止める
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /members/
Sitemap: https://example.com/sitemap.xml業種ごとの選び方の例
〇〇整体院（集客が目的のホームページ）：見本1。何も止めなくて十分です。
〇〇税理士事務所（税の解説記事を学習に使われたくない）：見本2。検索用は許可したままにします。
〇〇学習塾（会員だけが見る教材ページがある）：教材ページはログインが必要な場所に置き、公開ページは見本1か見本3にします。robots.txtだけで教材を守ろうとしないのがポイントです。
書き間違いが心配な方は、選ぶだけで robots.txt を作れるrobots.txt作成ツールを使ってください。
robots.txtの作り方と、編集の場所
robots.txtを作ったり直したりする場所は、ホームページの仕組みによって違います。
- WordPress（SEOプラグインあり）：All in One SEO・Yoast SEO・Rank Math などのrobots.txtの編集画面で直す
- WordPress（サーバーにファイルがある）：実際のファイルが優先されるので、FTPやサーバーのファイル管理画面で直す
- ホームページ作成サービス：SEO設定の中のrobots.txtの項目で直す（直せないサービスもある）
- HTMLのファイルで作ったサイト：自分でファイルを作り、いちばん上の階層にアップロードする
自分でファイルを作るときは、メモ帳などのテキストエディタで書き、文字コードをUTF-8にして robots.txt という名前で保存します。サーバーにアップロードしたら、ブラウザで https://自分のドメイン/robots.txt を開いて、中身が表示されるかを確かめます。
robots.txtと、noindex・パスワードの使い分け
「検索に出したくない」「見せたくない」というときに、robots.txtが正しい道具とは限りません。クローラーに読ませる必要のない場所を止めるならrobots.txt、ページは公開したまま検索結果に出したくないならnoindex、決まった人にしか見せたくないならパスワードやログイン、と使い分けます。
robots.txtで止めたページは、クローラーが中身を読めないため、ページに書いた noindex にも気づいてもらえません。ほかのサイトからリンクされていると、URLだけが検索結果に出ることもあります。検索結果から確実に外したいページは、robots.txtで止めずに noindex を使います。なお、robots.txtの中に noindex と書く方法は、Googleは2019年から対応していません。noindexについてはnoindexの確認方法の記事で説明しています。
書いたあとの確認
robots.txtを書いたり直したりしたら、その日のうちに次の点を確かめます。
- ブラウザで
https://自分のドメイン/robots.txtを開き、新しい内容になっているか見る User-agent: *の下にDisallow: /がないか見る- Search Consoleの「設定」の中にある robots.txt のレポートで、Googleが読み込めているか確かめる
- Bingに登録しているなら、Bing Webmaster Toolsでも確かめる（Bing Webmaster Toolsの記事）
Googleは通常、robots.txtの内容を最大24時間ほど保存して使うため、書き換えがすぐに反映されないことがあります。また、robots.txtのURLがサーバーのエラー（500番台）を返していると、Googleはしばらくの間、サイト全体を読まないように扱うことがあります。開いたときにエラーが出ないかも確かめておくと安心です。
robots.txtのチェックリスト
https://自分のドメイン/robots.txtで開ける（またはファイルがなく、すべて許可になっている）User-agent: *の下にDisallow: /がない- OAI-SearchBot・Claude-SearchBot・PerplexityBotなどの検索用を止めていない
- 名前を指定したまとまりの間に、空行が入っている
- サイトマップの場所（
Sitemap:の行）が書かれている - 見せたくないページを、robots.txtだけで守ろうとしていない
選ばれるAI診断では、ChatGPT・Perplexity・Claude・Google・Bingの検索用のクローラーを robots.txt で止めていないかも確かめられます。URLを入れるだけで、22項目の判定と理由を無料で確認できます。
よくある質問
robots.txtは、必ず置かないといけませんか？
必須ではありません。ない場合は「すべて許可」の扱いになり、検索にもAIにも問題なく読まれます。サイトマップの場所を伝えたい場合や、管理画面などを止めたい場合に置きます。
robots.txtで止めれば、検索結果から消えますか？
確実には消えません。robots.txtは「読まないで」というお願いなので、ほかのサイトからリンクされていると、URLだけが検索結果に出ることがあります。検索結果から外したいページは、noindex を使ってください。
AIに学習されたくない場合、どう書けばいいですか？
GPTBot・ClaudeBot・Google-Extendedなど、学習用のクローラーの名前ごとにまとまりを作り、Disallow: / を書きます。検索用（OAI-SearchBot・Claude-SearchBot・PerplexityBot など）は止めないでください。止めると、AIの検索の回答に出なくなります。
書き換えたら、すぐに反映されますか？
クローラーがrobots.txtを読み直すまで、1日〜数日かかります。OpenAIは、OAI-SearchBotについて約24時間と説明しています。
Crawl-delay という行は書いたほうがいいですか？
クローラーが読みに来る間隔を指定する行ですが、Googleは対応していません。小さな会社のホームページで、書く必要はほとんどありません。
WordPressで、robots.txtのファイルが見つかりません。
WordPressは、実際のファイルがなくても、自動で仮想の robots.txt を返します。SEOプラグインを使っていれば、その設定画面から中身を編集できます。サーバーに実際のファイルを置くと、そちらが優先されます。
まとめ
robots.txtの基本と、小さな会社が押さえておきたいことをまとめます。
この記事のまとめ
- robots.txtは、クローラーに「ここは読まないで」と伝える、サイトのいちばん上に置くテキストファイル。強制力はなく、なくても問題はない
- 書き方の基本は、User-agent（誰に）・Disallow（どこを）・Allow（例外の許可）・Sitemap（サイトマップの場所）の4つ
Disallow: /とDisallow:は正反対。まとまりの間には空行を入れ、名前を指定したまとまりは*の設定を引き継がない- AIのクローラーは、止めてよいのは学習用だけ。検索用やGooglebotを止めると、AIの回答や検索に出なくなる
- 472サイトでは79%にrobots.txtがあり、2件はGoogleも含めて全部拒否になっていた
- 検索結果から外すなら noindex、見せたくないならパスワード。書いたらその日のうちに開いて確かめる
まずは、自分のサイトが検索やAIのクローラーを止めていないかを確かめてください。選ばれるAI診断なら、URLを入れるだけで、22項目の判定と理由を無料で確認できます。
自分のサイトを、無料で診断する参考にした資料
- robots.txt の概要（Google 検索セントラル）
- robots.txt ファイルの作成と送信（Google 検索セントラル）
- Google による robots.txt の指定の解釈（Google 検索セントラル）
- RFC 9309: Robots Exclusion Protocol
- Overview of OpenAI Crawlers（OpenAI）
調査の方法：2026年9月、選ばれるAI診断で診断した税理士事務所・整体院・工務店・歯科医院・クリニックの公式サイト472件（重複を除く）の /robots.txt を取得して集計しました。22業種と不動産会社の数字は、2026年10月2日に見直した採点基準で再診断した結果です（22業種・2,296件、うち不動産会社124社）。GPTBotの数字は、2026年10月に7業種の公式サイト809件にAIのクローラーの名前で接続した結果です。個別のサイト名は公開していません。