見えない読者：正体を現した12のAIクローラー

見えない読者：正体を現した12のAIクローラー

まず、ひとつ質問です。今日、誰かがあなたの売っているもの——レストラン、民宿、コンサルティングサービス——を探すとき、検索エンジンを開いてじっくり比較するでしょうか。それとも、AIに直接「おすすめを教えて」と尋ねるでしょうか。後者を選ぶ人が増えています。AIはその場で答えを出し、いくつかの名前とリンクも添えます。名前を挙げられれば顧客がやって来ます。挙げられなければ、比較の候補にすら入りません。だからこそ私たちはこう言います。AI時代の可視性は、新たなマーケティングチャネルなのです。

この記事で理論を語るつもりはありません。私たちは自社サイトに蓄積された5か月分のサーバーログ——30数種類のAIクローラー、約3,000万回のコンテンツ取得——を公開し、1種類ずつ分解して調べました。誰が来たのか、何を取りに来たのか、どれくらいの頻度で来るのか、顧客を連れて戻ってくるのか（5か月で30数種類を観測し、本稿ではそのうち12種類を詳しく取り上げます）。すべての数値は自社サーバーのログ（直接実測）に基づくもので、推計値ではありません。観測レポート完全版の原本はkm.idaeo.aiで公開しています。

まず、本文を貫くキーワードを定義します。本記事でいう「AIでの声量」とは、AIクローラーがあなたのWebサイトに送るリクエストのことです。誰が来て、何回来て、何を取っていくのか——1回ごとのリクエストはすべてサーバーに記録され、数えられ、検証できます。本記事は、この約3,000万回のリクエストを読み解いていくものです。

まず知っておきたい新しい訪問者：AIクローラー

「クローラー」と聞くと技術的に思えるかもしれませんが、その役割は簡単です。AI企業が送り出す機械の訪問者で、Webサイトを訪れ、コンテンツを持ち帰るのが仕事です。グルメ情報サービスの担当者があなたの店に来て、メニューを書き写す場面を想像してください。注文も飲食もせず、情報だけを控え、後からサービス上で店を紹介できるようにします。AIクローラーがしているのも同じです。ただし、持ち帰った情報の用途は異なります。AIを学習させるもの、推薦候補のリストに入れるもの、いま質問している実ユーザーの代わりに情報を取りに来るものがあります。

第1の教訓：AIに読まれていなければ、永遠におすすめされない

クローラーからのリクエストがなければ、引用もありません。引用がなければ、実ユーザーの流入もありません。

分かりやすく言えば、AIがあなたをおすすめする前には、必ず一度は「あなたを読んで」います。つまり、あなたのWebページに少なくとも1回はリクエストを送っています。店の扉を1回たたき、資料を1回めくるようなものです。AI自身が取りに来た可能性もあれば、Common Crawlのような公共データベースが取得したものをAIが利用した可能性もあります。その1回のリクエストすらなければ、AIの世界であなたは順位が低いのではなく、そもそも存在していません。どのガイドにも、どのプラットフォームにも掲載されていない店と同じで、料理がおいしくても誰にも紹介されないのです。

ただし、これは入場券にすぎず、保証ではありません。次の3点は、正直にお伝えする必要があります。

• 読まれたこと ≠ 引用されたこと。担当者がメニューを書き写しても、サービスがすぐにあなたをおすすめするとは限りません。私たちが実測した転換率は約10–12%です（出典：過去の引用照合。概数であり正確な分母はありません。観測可能な範囲での照合値で、AIがリンクを付けないゼロクリック引用は含みません。口径は方法論ページを参照）。
• 引用されたこと ≠ 誰かがアクセスしたこと。AIはリンクを付けず、その場で回答を完結させることがよくあります。これを「ゼロクリック」と呼び、この場合、私たちには何の流入もありません。
• 誰かが来たこと ≠ 私たちに見えること。スマートフォンアプリ内からのクリックには参照元情報が付かないことが多いため、私たちが測定した476回（実測）は観測可能な下限です。実数は必ずこれより多くなります。

したがって、順序はひとつしかありません。まず読まれる状態をつくり、その後、読まれるたびの転換率を高めるのです。

3種類の訪問者、3つの未来

ログを見ると、クローラーは明確に3種類に分かれます。そして、人を連れてくるのは後者2種類だけです。

• 学習型（GPTBot、ClaudeBot、Meta AIなど）：百科事典の編集者のように、あなたのコンテンツを持ち帰り、AIの「頭脳」に組み込みます。効果が現れるのは数か月後で、出典を示さず、顧客も連れてきません。しかし、AIがあなたを覚えているかどうかを左右するのは、このタイプです。まず、正しく捉え直しましょう。このタイプは、何かを「持ち去りに来ている」のではありません。AIの知識ベースに入れる素材を選びに来ています。選ばれれば、あなたのコンテンツはAIの常識の一部になります。AIクローラー技術全体の中で、これが最も基礎的で、最も重要な層です。
• インデックス型（OAI-SearchBot、Bingbot、Applebotなど）：旅行ガイドの調査員のように、あなたのページを回答エンジンがいつでも参照できるデータベースに登録します。このデータベースが「インデックス」です。効果は数時間から数週間で現れ、引用リンクも付きます。顧客はここからやって来ます。
• 実ユーザー代理取得型（ChatGPT-Userなど）：実ユーザーがまさにその瞬間、AIを通じてあなたのページを読んでおり、AIがその人に代わって数秒で情報を取りに来ます。すでに来店した顧客が、店員にメニューを読み上げてもらっているようなものです。これが現れたなら、その前の2段階がどちらも正しく機能した証拠です。

ひと言で覚えてください。顧客を呼びたいならインデックス型に情報を届ける。長く覚えてもらいたいなら学習型に情報を届ける。実ユーザー代理取得が現れたなら、前の二歩がうまくいっている証拠です。

発見1：良いコンテンツが動かすのは人であって、機械ではない

私たちは当初、「コンテンツを良くすれば、クローラーももっと積極的に巡回する」と考えていました。しかし実測結果は、機械は選り好みせず、人は選ぶ、というものでした。メニューを書き写す担当者は、料理がおいしいかどうかに関係なく、すべてをそのまま書き写します。本当に席に着いて食べる顧客こそが選ぶのです。まったく独立した2つの測定方法が、同じ方向を示しました（いずれも実測）。

• ChatGPTの実ユーザー代理取得は、人が作り込んだ詳細カードを4.7回/ページ、自動生成ページを2.5回/ページ読み、差は1.9倍でした。
• 品質区分greenとredの比較では、実ユーザー代理取得は3.14対1.39で、差は2.26倍でした。
• 同じテストを機械クローラーのClaudeBotで行うと、greenは2.56、redは2.62で横ばいとなり、redがわずかに上回りました。

つまり、コンテンツを良くしても、機械がより多くクロールするわけではありません。しかし実ユーザーが訪れた後には、より頻繁に読まれ、AIが人に見せる候補として選ぶ回数も増えます。だからこそ、コンテンツ投資のリターンは「引用され、人を連れてくる」側で評価すべきです。クローラーの件数で評価してはいけません。

発見2：最も顧客を連れてくる訪問者ほど、来るのが遅い

新しいコンテンツを公開してから、各社が初めて見に来るまでの時間は次のとおりです（中央値、実測）。

• ClaudeBot（学習型）：4.2時間
• GPTBot（学習型）：21.8時間
• OAI-SearchBot（インデックス型）：332.8時間（13.9日）
• Bingbot（インデックス型）：374.6時間（15.6日）

新メニューを出すと、メニューを書き写す担当者はその日のうちに来るのに、ガイドの調査員が来るのは2週間後です。その間、苦労して作った新しいコンテンツは先に学習へ使われる一方、顧客を連れてくるどのリストにもまだ載っていません。これが機会損失です。しかも統計期間は30日しかないため、期間の終盤に公開したコンテンツは、遅いクローラーの到着を待つ時間すらありません。遅いクローラーは構造的に過小評価されています。実際の差は、数値よりさらに大きいはずです。

幸い、この問題には解決策があり、その手段はサイト運営者自身が握っています。

• sitemap：店頭に掲示する「完全なメニュー一覧」のようなもので、店内にどのページがあるかを訪問者がひと目で把握できます。Bingbotはこれに大きく依存しており、30日間で32,993回クロールしました（サーバーログによる実測。姉妹記事の統計窓では 33,155 回で、差は統計時点によるものです）。
• llms.txt：AI専用に用意する店舗案内です。AmazonbotとGPTBotが重点的に利用しています。
• IndexNow：新メニューを出したら自分からベルを鳴らして知らせ、相手が来るのをただ待たない仕組みです。

この3つを推進することが、「最も遅いのに、最も顧客を連れてくる」インデックス型クローラーを加速させる、最も直接的なレバーになります。正直に言えば、これは「クローラーが何を利用しているか」から導いた合理的な次の一手です。導入前後の比較実験はまだ行っていません。完了したら改めて報告します。

1度の検証：「大規模な改修をすると、クローラーが一斉に来た」は本当か？

サイト運営側には以前から、「大規模な統合をするたび、クローラーが殺到する」という感覚がありました。そこでデータベースの記録をさかのぼって検証したところ、答えは単純な○か×かより興味深いものでした。

時間的な順序は事実でした。2026-05-23、私たちは1日で550,807件のllms要約を作成しました（実測。5/23＝550,807、5/24＝11,678で、それ以外の日はすべて数千件のみ）。その9日後の6/01、3社のクローラーが同時に動き始めました。ClaudeBotは5月全体で669回しか来ていなかったのに、6/01には53,468回、6/02にはさらに354,414回へ急増しました。GPTBotとMetaも同じ日に同時に動きました（実測）。「月初のスケジュール」という別の説明も排除できます。4/01はわずか92回、5/01もわずか464回で、急増したのは6/01だけでした。カレンダー効果ではありません（実測）。

しかし、「なぜ来たのか」は、このデータでは判別できません。そのときの施策では、コンテンツの品質向上と、55万件の新しいURLの一括公開という2つのことを同時に行ったからです。robots.txtが変更されていないことは確認済みです。つまり、扉を開けたのではなく、目に見える表面積を一気に数倍へ広げたのです。同じ日に店を改装し、さらに1軒の店を通り一帯へ拡張したところ、翌週に人が押し寄せたようなものです。顧客が内装を目当てに来たのか、新しい店舗を目当てに来たのかは判別できません。見分けるには、既存ページの品質だけを改善し、新しいURLを一切追加せず、その後のクローラーの反応を見るという、条件を整理した実験が必要です。私たちの記録には、そのような事例が1度もありません。次回、意図的に実施すべきことです。

主役の登場：知っておきたい5種類のクローラー

OAI-SearchBot——選り好みするガイド調査員、この調査で最重要

件数は少ないものの（全期間で28.9万回）、価値は最も高いクローラーです。ChatGPTが引用したURLの85.6%は、そのクロール対象に含まれていました（実測）。つまり、OAI-SearchBotが選んだものをChatGPTが引用しています。ただし、これは共起統計です。両者が偶然同じ種類のページを好んでいる可能性もあり、因果関係は証明されていません。また、全体の中で品質に最も敏感な機械クローラーでもあります（green 5.94対red 3.54、実測）。致命的な弱点は遅さです。新しいコンテンツに来るまで332.8時間（13.9日）かかります。この遅さは、そのまま私たちの損失です。OAI-SearchBotの加速を最優先すべきです。

ClaudeBot——大食漢。来るのは速く、大量に取得するが、顧客は連れてこない

総量ではトップです（全期間で644万回）。取得の仕方は断続的で、通常日の中央値はわずか97回なのに、1日の最高は354,414回でした（実測）。普段は姿を見せず、一度来るとテーブルの料理をすべて平らげるような勢いです。新しいコンテンツへの反応は最速（中央値4.2時間）ですが、品質にはまったく反応せず、全期間を通じて連れてきた実ユーザーはわずか8回でした（実測）。長期的な存在感への投資と捉え、業績として期待してはいけません。

Bingbot——毎日店を巡回する昔ながらの調査員

最も安定した鼓動のように、毎日訪れ、件数も安定しています（実測）。sitemapを頼りに情報を取得し、30日間で32,993回と全体最多でした。反応は最も遅く、到着まで374.6時間（15.6日）かかります。しかし、Bingbotが情報を供給するCopilotは、私たちにとって2番目に大きな再流入元です（66回、13.9%、実測）。sitemapとIndexNowを推進することが、Bingbotには最も効果的です。

Applebot——謎の大口：これだけ読み続ける裏には、必ず何かがある

7月最大の訪問者でした（30日間で484.7万回、実測）が、現時点で識別可能な引用クリックは0回です（Siri側ではゼロクリックが多いためです）。行動パターンはかなり特殊です。AI学習用のフラグはほとんど使わず（Applebot-Extendedは5か月でわずか2回、実測）、sitemapやllms.txtもほぼ見ません。ただ静かに、大量に、途切れることなくコンテンツを読み続けています。

編集部の観察（実測ではなく判断）：ひとつの解釈は、まだ姿を現していない製品に備えているというもの——新しいSiri？ 新しい検索？ もうひとつの解釈は、私たちのブランド移転が引き起こした再クロールです（「誠実な帳簿」の節を参照）。どちらとも決まらないうちは、観察するだけで賭けはしません。だから私たちの戦略は、特別な投資はせず、全面開放したまま読ませ、毎週その動きを見守ることです。なお、この件数には旧URLへの 301 リダイレクト要求が含まれます（方法論ページ第二の訂正）。リクエスト量であって、コンテンツ取得量ではない、と読んでください。

ChatGPT-User——すでに店内に座っている顧客

実ユーザー代理取得を代表するクローラーです。ピークは日本時間の午前10時で、明確に人間らしい生活リズムが見られます（実測）。これが現れたなら、誰かがその瞬間にあなたのページを読んでいるということです。将来のトラフィックではなく、いま起きている流入です。成功を知らせるシグナルであり、最適化の対象ではありません。

その他の役割——どのクローラーにも来る理由がある

クローラーを送り出すにはコストがかかり、訪れる一つひとつに目的があります。順に見ていきましょう。

• GPTBot（OpenAI・学習型の主力）：目的は、コンテンツをGPTシリーズのモデルが使う基礎知識に取り込むことです。llms.txtを頼りに情報を取得しており（30日間で7,873回、実測。8,618 は全クローラーによる llms.txt 取得の合計で、口径が異なります）、llms.txtを充実させることは、そのままGPTBotを満たすことになります。送客はしませんが、ChatGPTがあなたを覚えているかどうかは、大半がこのクローラーにかかっています。
• PerplexityBot（Perplexity・インデックス型）：目的は、Perplexityの回答エンジン用インデックスを構築することです。小規模ながら精度が高く（全期間で5.9万回）、私たちの詳細カードに史上初の実引用をもたらしました（7/08、実測）。「1回読まれるごとに、どれだけ引用につながったか」で見ると、最上位です。
• Amazonbot（Amazon・インデックス型）：目的は、AlexaとショッピングアシスタントRufusの検索エコシステムに情報を供給することです。静かで安定しており、毎日訪れます。llms.txtの利用比率は全体で最も高く、Amazonbotにはllms.txtが特に有効です。
• Google系（ラベル混在）：「Google AI」の217万回は、実際にはGoogleOtherとGoogle-Extendedという2種類のラベルを合算した数字です。ラベルごとに用途は異なりますが、私たちの集計では混在しています。分離できるまでは、Googleについての結論はすべて保留です。
• CCBot（Common Crawl・公共コーパス）：目的は最も特殊です。世界全体のために公共コーパスを構築し、世界中のオープンソースモデルが共有する水源になります。washinmura.jpは2026年6月版の公共コーパスにすでに収録されています（1,515件、実測）。ここに入ることは、この水を飲むすべてのモデルに同時に入ることを意味します。
• Bytespider（バイトダンス・学習型）：目的は、バイトダンス系AI製品の学習用データを集めることです。全期間で7.8万回、明らかに中国語寄りです——主戦場は中国語圏で、私たちの台日コンテンツはついでに拾われています。

正直な内訳：この記録の適用範囲と限界

マーケティング記事だからこそ、境界を明確にする必要があります。私たちがお届けしたいものは、まさに誠実さだからです。

• n=1：これは1サイトのサンプルであり、5か月間のスナップショットです。これらのクローラーに共通する一般的な行動だとは保証できず、ましてや法則ではありません。
• 一部の「個性」は、私たち自身が生み出したものです。Applebotの急増開始日は、たまたまブランド移行の翌日でした。Amazonbotの大量アクセスには、不要なパスのブラックホールにはまり込み、増幅された分が含まれています。これは私たちのアーキテクチャが物語っているのであって、クローラーの性格ではありません。
• Google系は帰属不能：「Google AI」は2種類のラベルを合算した数字です。これに基づく結論はすべて、混在した数字の上に成り立っています。
• 6月のページ単位の証拠は失われています。URLの詳細は30日間しか保存されないため、あの波について残っているのは日別の合計だけです。「6月に何のページをクロールしたのか」を断定すべきではありません。
• 品質区分（green／yellow／red）は、サイト内で独自に定めた3段階のラベルです。区分基準は本文では公開していません。
• 品質検定には露出バイアスがあります。データ上、「コンテンツが良いこと」と「ページ数が多いこと」には強い相関があります（相関係数0.86、実測）。両者を完全には分離できません。
• 転換率約1割は、過去の引用照合から得た観測可能な基準での概数であり、1件ずつ正確に追跡した数字ではありません。初回訪問までの時間は中央値のみを示し、サンプル数と分布は付記していません。
• ゼロクリックと転載は見えません。AIがリンクを付けずに回答を完結させた場合や、他サイトに転載された場合、サーバーには痕跡が残りません。これは構造的な死角であって、私たちが調べなかったわけではありません。

持ち帰ってほしい3つのポイント

1. AIの可視性は、実在する新たなチャネルです。その出発点は「まず読まれること」。sitemap、llms.txt、IndexNowを整え、最も顧客を連れてくるクローラーに、より早くあなたを見つけてもらいましょう。
2. 良いコンテンツのリターンは「人」の層で評価します。見るべきは引用と流入であり、クローラーの件数ではありません。機械は選り好みせず、人は選びます。
3. 大きな数字に惑わされないでください。件数が最大でも、顧客を連れてくるとは限りません。顧客を連れてくるクローラーは、たいてい規模が小さく、動きも遅いものです。労力は、正しい数種類に集中させましょう。

最後に、正直にお伝えします。あなたのコンテンツが必ずAIに引用されると保証できる人はいません。私たち自身が実測した転換率も約1割にすぎません。しかし、その逆は確実です。読まれていないコンテンツが、AIの回答に現れることは永遠にありません。AI時代のマーケティングは、AIからあなたが見える状態をつくるところから始まります。

本記事の引用：IDAEO（2026）。『見えない読者：正体を現した12のAIクローラー』。km.idaeo.ai/ai/ai-crawler-marketing。データは2026-07-24まで（全履歴の窓は2026-03-03から）。出典：当サイトのサーバーログ実測。完全版の原本：km.idaeo.ai/reports/ai-crawler-profiles-20260724。