LLMO対策の前に確認すること｜AIクローラーにサイトが読まれているか調べる方法

2026年9月9日
seo, WEB制作
3view

seo

AI検索に自社サイトが引用されない原因は、記事の中身ではなくサイトの入口にあることがあります。どれだけ良い記事を書いても、AIのクローラーがページに到達できなければ、引用の候補にすら入りません。この記事では、AIクローラーの種類と役割、自社サイトが実際に読まれているかを確かめる手順、読まれない原因になりやすい技術要因を、Web制作会社の実務目線で整理します。

cable network — Photo by Taylor Vick on Unsplash

1 引用されない原因は「中身」より前の段階にあることがある
- 1.1 「読まれている」と「引用される」は別の段階
- 1.2 制作会社が最初に見る3つの入口
2 AIクローラーとは？種類と役割を整理する
3 自社サイトが読まれているか確認する4つの手順
4 読まれない原因になりやすい5つの技術要因
5 robots.txt をどう書くか｜許可とブロックの判断基準
- 5.1 「学習は止めたいが引用はされたい」場合の書き方
- 5.2 ブロックしたときに失うもの
6 llms.txt は設置すべきか
7 読まれた先で引用されるためにサイト側でやること
8 確認から改善までのチェックリスト
9 よくある質問（FAQ）
10 直したあと、何を見て効果を判断するか
11 まとめ｜入口を開けてから、中身の話をする
12 参考にした一次情報

引用されない原因は「中身」より前の段階にあることがある

結論から言えば、LLMO対策で最初に確認すべきは記事の書き方ではなく、AIがサイトに到達できているかどうかです。ここが塞がっていると、その先の施策はすべて無駄になります。

「読まれている」と「引用される」は別の段階

AIの回答に自社が登場するまでには、いくつかの段階があります。クローラーがページを取得できる、本文のテキストが読み取れる、内容が質問に対して適切だと判断される、回答の材料として採用される、という順序です。

世の中のLLMO記事の大半は、3段階目と4段階目の話をしています。文章の書き方、見出しの付け方、構造化データといった内容です。しかし実務で調査に入ると、1段階目や2段階目で止まっているサイトが一定数あります。土台が抜けたまま上の施策を積んでも、成果は出ません。

制作会社が最初に見る3つの入口

弊社でAI検索の相談を受けたとき、記事を読むより先に確認するのは次の3点です。robots.txtでAI関連のクローラーを止めていないか、サーバーやCDNの防御機能が弾いていないか、本文がJavaScriptなしで表示されるか。この3つは数分で確認でき、該当していれば原因がほぼ確定します。

特に多いのは、サイトを作った当時にセキュリティ設定として入れたボット対策が、意図せずAIクローラーまで巻き込んでいるケースです。設定した本人が退職していて誰も経緯を知らない、という状況も珍しくありません。

AIクローラーとは？種類と役割を整理する

AIクローラーとは、AIサービスがWeb上の情報を取得するために動かしている自動巡回プログラムです。重要なのは、これが1種類ではなく、用途ごとに分かれている点です。用途を区別しないまま一括でブロックすると、意図しない結果になります。

用途は大きく3種類に分かれる

1つ目はモデルの学習用にコンテンツを収集するもの、2つ目はAI検索の索引を作るために巡回するもの、3つ目は利用者がその場でURLを指定したときに取りに来るものです。

この違いが実務で効いてきます。学習に使われるのは避けたいが、AI検索では引用されたいという要望はよくあります。用途が分かれているからこそ、その要望に応える設定が可能です。

主要なAIクローラー一覧

各社が公式ドキュメントで公開しているクローラーを、用途つきで整理します。名前だけ見ても用途は分からないので、この対応を押さえておくと設定を誤りません。

クローラー名	運営	主な用途	robots.txtに従うか
GPTBot	OpenAI	モデルの学習用	従う
OAI-SearchBot	OpenAI	ChatGPTの検索機能に表示するため	従う
ChatGPT-User	OpenAI	利用者の操作でページを見に行く	適用されない場合がある
ClaudeBot	Anthropic	モデルの学習用	従う
Claude-SearchBot	Anthropic	検索結果の品質向上	従う
Claude-User	Anthropic	利用者の質問に答えるための取得	従う
PerplexityBot	Perplexity	検索結果に表示するため	従う
Perplexity-User	Perplexity	利用者の質問に答えるための取得	原則として無視される
Google-Extended	Google	Geminiなどの学習・回答生成の制御	従う
CCBot	Common Crawl	公開アーカイブの収集	従う

ここで見落とせないのが、OpenAIが公式ドキュメントに書いている一文です。OAI-SearchBotを拒否したサイトは、ChatGPTの検索回答に表示されないと明記されています。学習を止めたいつもりでOpenAI関連をまとめて拒否すると、引用の機会まで失います。

もう1つ、利用者が起点になる取得は robots.txt では止まりません。OpenAIはChatGPT-Userについて「利用者が開始した操作のため robots.txt のルールが適用されない場合がある」と書いており、Perplexityも Perplexity-User について「原則として robots.txt のルールを無視する」と明記しています。robots.txtは万能の遮断手段ではない、という前提で扱ってください。

Googleだけは制御の考え方がまったく違う

ここが最も誤解されている部分です。「Google-Extended をブロックするとAIによる概要に出なくなる」という説明を見かけますが、これは誤りです。

Googleの公式ドキュメントには、Google-ExtendedはGoogle検索への掲載に影響せず、検索のランキングシグナルとしても使われないと明記されています。Google-Extendedが制御するのは、GeminiアプリやVertex AIといった検索以外のサービスでの学習と回答生成です。

ではAIによる概要やAIモードに出る条件は何かというと、通常のGoogle検索にインデックスされ、スニペット付きで表示できる状態であることです。Googleは「追加の技術要件はない」と書いています。つまりGoogleのAI検索対策は、従来のSEOでインデックスされる状態を保つことと、ほぼ同義です。

逆に「GoogleのAI機能にだけ出したくない」という要望には、専用の設定が用意されました。Search Consoleの設定画面にあるトグルで、サイト単位でAIによる概要・AIモード・Discoverの生成AI機能から除外できます。2026年8月31日に全世界へ展開済みで、反映は1〜2日、通常検索の順位には影響しないとされています。

自社サイトが読まれているか確認する4つの手順

ここからは実際の確認作業です。専門ツールは不要で、ブラウザとコマンド、サーバーのログがあれば足ります。上から順に実施してください。

man in black crew neck t-shirt using macbook — Photo by Anthony Riera on Unsplash

手順1：robots.txt を開いてブロックの有無を見る

ブラウザで自社ドメインの末尾に robots.txt を付けたURLを開きます。これだけで、どのクローラーに何を許可しているかが分かります。

参考までに、弊社サイトの内容は次のとおりです。管理画面のディレクトリだけを除外し、クローラーの種類による制限はかけていません。

User-agent: *
Disallow: /cms/wp-admin/
Allow: /cms/wp-admin/admin-ajax.php

Sitemap: https://threedplus.co.jp/sitemap.xml

ここに特定のクローラー名を指定した Disallow が並んでいる場合は、その時点で原因が確定します。誰がいつ何のために入れたのかを確認してから、方針を決めてください。

手順2：クローラーの名前でアクセスして応答を確かめる

robots.txt が問題なくても、サーバーやCDNの側で弾いている場合があります。これはrobots.txtを見ても分かりません。実際にそのクローラーを名乗ってアクセスし、返ってくるステータスコードを確認します。

コマンドプロンプトやターミナルで、次のように実行します。ユーザーエージェントを差し替えれば、他のクローラーでも同じ確認ができます。

curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot" \
  https://example.com/

200 が返れば通っています。403 や 429 が返る場合は、防御側で弾かれています。503 が返るときも同様に、ボット対策の可能性を疑ってください。

実際に弊社サイトで4種類のクローラーを名乗って試したところ、いずれも 200 が返りました。この結果を控えておくと、後日設定を変更したときの比較材料になります。

手順3：アクセスログで実際の巡回を確認する

ここまでは「入れる状態か」の確認です。実際に来ているかどうかは、サーバーのアクセスログを見るのが確実です。レンタルサーバーであれば管理画面からログをダウンロードできます。

ダウンロードしたログから、クローラー名を含む行を数えます。1か月分のログで巡回が一度もなければ、サイトがまだ認識されていないか、どこかで遮断されていると判断できます。

手順4：JavaScriptなしで本文が出るか確認する

ページを取得できても、本文が読み取れなければ意味がありません。ブラウザでページのソースを表示し、本文の文章がそこに含まれているかを確認します。

ソースに本文が見当たらず、空のコンテナだけが並んでいる場合は、ブラウザ側でJavaScriptを実行して初めて中身が入る作りです。WordPressのような一般的なCMSでは起こりませんが、フレームワークで作られたサイトでは起こり得ます。

読まれない原因になりやすい5つの技術要因

確認して問題が見つかった場合、原因は次の5つのいずれかであることがほとんどです。

要因1：robots.txt で一括ブロックしている

生成AIに学習されたくないという理由で、AI関連のクローラーをまとめて拒否している例です。判断としては理解できますが、用途を区別せずに止めると、AI検索での引用も同時に失います。

要因2：CDN・WAFのボット対策が弾いている

CDNやセキュリティサービスには、ボットからのアクセスをまとめて遮断する機能があります。既定で有効になっている場合もあり、サイト側の設定ファイルを見ても気づけません。手順2のコマンドで403が返ったときは、まずここを疑ってください。

対処は、管理画面でAIクローラーを許可リストに加えることです。検索エンジンのクローラーは既定で許可されていても、AIクローラーは別枠で扱われている場合があります。

2026年に入って、この領域は仕様が動いています。CloudflareはクローラーをSearch・Agent・Trainingの3種類に分類したうえで、2026年9月15日以降、新規に追加されたドメインでは広告を表示するページでTrainingとAgentを既定で遮断すると公表しました。Searchは既定で許可されたままですが、設定した覚えがなくても挙動が変わり得るということです。

症状の見分け方は簡単です。自社サイトのURLをChatGPTやPerplexityに貼って「このページの内容を要約して」と頼み、読み取れないと返ってくる場合は、エッジ側で遮断されている可能性が高いと判断できます。

要因3：本文がJavaScriptでしか描画されない

クライアントサイドレンダリングのサイトは、取得したHTMLの中身が空に近くなります。VercelとMERJが実トラフィックを分析した2024年の調査では、ChatGPTとClaudeのクローラーはJavaScriptファイルを取得はするものの実行はしていないと報告されています。一方でGeminiはGooglebotの基盤を使うため描画でき、AppleBotも描画すると報告されており、すべてのAIクローラーが一律というわけではありません。

なお各社は、JavaScriptを実行するかどうかを公式にドキュメント化していません。現時点で確実に言えるのは、初期HTMLに本文が含まれているサイトのほうが安全側だということです。サーバー側で描画する構成に変えるか、静的に書き出す仕組みを入れるのが根本的な対処になります。

サイトを作り直す判断になるため費用がかかります。まずは会社概要やサービス紹介など、引用されたい主要ページだけをサーバー側描画に切り替える方法もあります。

要因4：noindex・canonical の設定ミス

テスト環境の設定が本番に残っていて、サイト全体にnoindexが付いたままというのは、実際に何度も遭遇する事故です。WordPressでは管理画面の設定1か所で全ページが検索対象から外れます。

canonicalの指定ミスも同じ結果になります。全ページのcanonicalがトップページを指していると、個別ページは重複扱いになります。

要因5：表示が遅くタイムアウトする

クローラーは無制限に待ってはくれません。共用サーバーで極端に重いサイトは、取得に失敗している可能性があります。手順3のログで、ステータスコードが200以外になっている行がないかも合わせて確認してください。

robots.txt をどう書くか｜許可とブロックの判断基準

方針は3つに分かれます。全部許可する、学習用だけ止める、全部止める。どれが正解というものではなく、事業の性質で決めます。

方針	向いているケース	設定の要点
すべて許可	Web経由の問い合わせが売上に直結する企業	クローラー名を個別指定しない
学習だけ止める	記事や制作物を学習に使われたくないが引用はされたい	学習用のみ拒否し、検索用は許可する
すべて止める	会員向け・非公開性の高いサイト	全て拒否。ただし利用者起点の取得は止まらない

「学習は止めたいが引用はされたい」場合の書き方

実務でいちばん要望が多いのがこの形です。用途ごとにクローラーが分かれているので、次のように書き分けます。

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Googlebotはもちろん許可したままにします。前述のとおり、Google-Extendedを拒否してもGoogle検索とAIによる概要には影響しません。

ブロックしたときに失うもの

止めれば学習には使われにくくなりますが、AI検索での露出も同時に減ります。集客をWebに依存している企業にとっては、失うもののほうが大きくなりがちです。

弊社の考え方は、記事や事業紹介など公開を前提としたページは許可し、非公開が前提の領域はそもそもWeb上に置かない、というものです。robots.txtは紳士協定であり、強制力のある防御手段ではないためです。

llms.txt は設置すべきか

結論から書くと、2026年9月時点では、設置しても害はありませんが、検索や引用に効くという一次情報の裏づけはありません。有料オプションとしてすすめられたら、根拠を確認したほうがよい項目です。

llms.txt とは何をするファイルなのか

サイトのルートに置くMarkdown形式のファイルで、サイトの概要と主要ページの一覧をAIに向けて示すという構想です。2024年に提唱され、仕様も公開されています。発想としては、robots.txtやサイトマップのAI版にあたります。

主要AI各社の対応状況

Googleは対応していません。同社のジョン・ミューラー氏は2025年に「現時点でllms.txtを使っているAIシステムはない」と公に述べており、サーバーログを見れば明らかだとも説明しています。Googleの公式ドキュメントにも、AI機能に表示されるために新しい機械可読ファイルやAI用テキストファイルを作る必要はないと明記されています。

OpenAIとAnthropicについては、自社の開発者向けドキュメントにllms.txtを置いてはいるものの、他社サイトのllms.txtを読んで回答に使うという公式の表明は確認できませんでした。

制作会社としての現時点の結論

開発者向けドキュメントのように、AIに読ませること自体が目的のサイトでは意味があります。一方、一般企業のコーポレートサイトや店舗サイトの集客施策としては、費用をかける根拠がありません。同じ工数をかけるなら、会社概要ページと事業紹介の記述を整えるほうが確実です。

読まれた先で引用されるためにサイト側でやること

入口の確認が済んだら、次は読み取られた内容の質です。ここは文章の書き方の話が中心になりますが、サイトの作りとして押さえるべき点もあります。

person writing on white paper — Photo by Kelly Sikkema on Unsplash

運営者情報と著者情報を明示する

会社概要ページに、正式名称、所在地、電話番号、代表者名、事業内容を揃えて記載します。記事には執筆者名と、その人物の経歴が分かるページへのリンクを置きます。誰が書いたか分からない情報は、引用の判断材料として弱くなります。

1ページ1テーマに整理する

1ページに複数のテーマが混在していると、AIがそのページを何の情報として扱えばよいか判断しにくくなります。サービス紹介と料金と会社案内が1ページに詰め込まれている構成は、分割したほうが引用されやすくなります。

構造化データは土台であって裏技ではない

Googleの公式ドキュメントは、AIによる概要やAIモードに表示されるために追加すべき特別な構造化データは存在しない、と明記しています。AI専用のスキーマがあるかのような説明は誤りです。

ただし同じページでは、推奨事項として「構造化データを可視テキストと一致させること」が挙げられています。ページに書かれていない内容を構造化データにだけ書くのは逆効果です。実装するなら、まず本文に事実を書き、その内容と一致させる形で入れてください。

引用のされ方そのものについては、別記事のAI検索に引用される条件で一次データをもとに検証しています。あわせてご覧ください。

確認から改善までのチェックリスト

最後に、確認から改善までを一覧にまとめます。上から順に潰していけば、入口の問題はほぼ洗い出せます。

確認すること	方法	問題があるときの対処
robots.txtの記述	ブラウザで /robots.txt を開く	用途を区別して書き直す
クローラーへの応答	クローラー名を指定してコマンドで確認	CDN・WAFの許可リストに追加
実際の巡回	アクセスログでクローラー名を検索	0件なら遮断とサイトマップを確認
本文の描画方式	ページのソースに本文があるか	サーバー側描画・静的出力に変更
noindexの残留	ソースのmeta robotsを確認	公開後は必ず外す
canonicalの指定先	各ページのcanonicalが自身を指すか	テンプレートの記述を修正
AI機能への掲載可否	Search Consoleの設定を確認	意図せず除外していないか点検

よくある質問（FAQ）

Google-Extended をブロックすると、AIによる概要に出なくなりますか？

出なくなりません。Googleは公式ドキュメントで、Google-ExtendedはGoogle検索への掲載に影響せず、ランキングシグナルとしても使われないと明記しています。AIによる概要やAIモードへの掲載は、通常のインデックス状態で決まります。

学習には使われたくないが、AI検索には出たいです。両立できますか？

できます。OpenAIもAnthropicも、学習用と検索用でクローラーを分けています。学習用のGPTBotとClaudeBotを拒否し、検索用のOAI-SearchBotとClaude-SearchBotを許可する書き方で両立します。ただしOAI-SearchBotまで拒否すると、ChatGPTの検索回答に表示されなくなります。