看不见的读者：12 只 AI 爬虫现形

FAQ

我不是科技行业，AI 爬虫跟我的网站有什么关系？

只要你希望有人通过 AI 找到你，就有关系。AI 推荐任何网站之前，一定先派爬虫来读过它——没被读过，你的网站在 AI 的答案里根本不存在。这不是排名高低的问题，是有没有入场券的问题。

私はテクノロジー業界ではありません。AIクローラーは私のWebサイトとどんな関係があるのですか？ — AIを通じて誰かに見つけてもらいたいなら、関係があります。AIがWebサイトをおすすめする前には、必ずクローラーを送り、事前にそのサイトを読んでいます。読まれていなければ、あなたのWebサイトはAIの回答の中にそもそも存在しません。順位の高低ではなく、入場券を持っているかどうかの問題です。

I am not in the tech industry. What do AI crawlers have to do with my website? — If you want people to find you through AI, they have everything to do with it. Before AI recommends any website, a crawler must first read it. If your site has never been read, it simply does not exist in AI’s answers. This is not a question of ranking high or low; it is a question of whether you have the price of admission.

内容写得好，AI 爬虫就会更常来吗？

实测不会。机器来者不拒——ClaudeBot 对质量分级几乎无感（green 2.56、red 2.62，red 还略高）；但真人通过 AI 读好内容的次数明显更多（1.9 倍到 2.26 倍，实测）。好内容的回报要看引用与导流，不要用爬虫量验收。

良いコンテンツを書けば、AIクローラーはもっと頻繁に来るようになりますか？ — 実測では、そうなりません。機械は選り好みしません。ClaudeBotは品質区分にほぼ反応せず（green 2.56、red 2.62で、redがわずかに上回りました）、一方で実ユーザーがAIを通じて良いコンテンツを読む回数は明らかに増えました（1.9倍から2.26倍、実測）。良いコンテンツの成果は引用と流入で評価し、クローラーの件数で評価しないでください。

If I write better content, will AI crawlers visit more often? — Our measurements say no. Machines take everything—ClaudeBot was almost entirely indifferent to the quality grades (green 2.56, red 2.62, with red slightly higher). But real people read good content through AI between 1.9 and 2.26 times as often (measured). Judge the return on good content by citations and referral traffic, not crawler volume.

想让 AI 更快发现我的新内容，具体该做什么？

把 sitemap（网站的完整页面目录）、llms.txt（写给 AI 看的网站导览）准备好，并用 IndexNow 主动通知。实测 Bingbot 30 天抓了 32,993 次 sitemap，Amazonbot 和 GPTBot 重度消费 llms.txt——这是对反应最慢、却最能带客的索引型爬虫，最直接的加速方法。

AIに新しいコンテンツをもっと早く見つけてもらうには、具体的に何をすべきですか？ — sitemap（Webサイト内の全ページ一覧）とllms.txt（AI向けのWebサイト案内）を用意し、IndexNowで能動的に通知してください。実測では、Bingbotは30日間でsitemapを32,993回クロールし、AmazonbotとGPTBotはllms.txtを重点的に利用していました。これは、反応が最も遅い一方で最も顧客を連れてくるインデックス型クローラーを加速させる、最も直接的な方法です。

What exactly should I do to help AI discover my new content faster? — Prepare sitemap (a complete directory of your website’s pages) and llms.txt (a site guide written for AI), then use IndexNow to send proactive notifications. Bingbot fetched sitemap 32,993 times over 30 days (measured), while Amazonbot and GPTBot consume llms.txt heavily. For the search-indexing crawlers that respond the slowest yet bring the most customers, these are the most direct ways to accelerate discovery.

什么是“AI 声量”？

本文的定义很具体：**AI 爬虫对你网站的请求，就是你的 AI 声量**（口径：本站服务器记录，可数、可验）。三类请求对应三种声量：训练型请求决定 AI 记不记得你，索引型请求决定 AI 引不引得到你，真人代抓请求代表 AI 正在把你讲给某个人听。请求是零，声量就是零——AI 的答案里不会有你。

「AIでの声量」とは何ですか？ — 本記事の定義は具体的です。**AIクローラーがあなたのWebサイトに送るリクエストこそが、あなたのAIでの声量です**（当サイトの伺服器紀錄サーバーログに基づき、数えられ、検証できます）。3種類のリクエストは3種類の声量に対応します。学習型リクエストはAIがあなたを覚えているかどうかを決め、インデックス型リクエストはAIがあなたを引用できるかどうかを決め、実ユーザー代理取得のリクエストはAIがいままさに誰かにあなたを語っていることを意味します。リクエストがゼロなら、声量もゼロ——AIの答えにあなたは登場しません。

What is "AI share of voice"? — This article uses a concrete definition: **your AI share of voice is the requests AI crawlers make to your website** (as recorded in our 伺服器紀錄 server logs—countable and verifiable). The three kinds of requests map to three kinds of voice: training requests determine whether AI remembers you, indexing requests determine whether AI can cite you, and user-triggered requests mean AI is telling someone about you right now. Zero requests means zero share of voice—you will not appear in AI's answers.

照着做，就保证会被 AI 引用吗？

不保证。被读取只是必要条件，我们实测被读取到被引用的转化率大约一成，而且这是 n=1 的单站观测，结论不保证能直接套用到其他网站。能确定的是反面：没被读过的内容，一定不会出现在 AI 的答案里。

そのとおりにすれば、AIに引用されることが保証されますか？ — 保証されません。読まれることは必要条件にすぎません。私たちが実測した、読まれてから引用に至る転換率は約約一成です。しかも、これはn=1の単一サイト観測であり、結論をほかのWebサイトへそのまま適用できる保証はありません。確実なのは、その逆です。読まれていないコンテンツが、AIの回答に現れることはありません。

If I follow these steps, am I guaranteed to be cited by AI? — No. Being read is only a necessary condition. Our measured read-to-citation conversion rate is roughly 約一成, and this is an n=1 observation of a single site; the findings cannot be assumed to apply directly to other websites. What we do know for certain is the reverse: content that has never been read cannot appear in an AI answer.

怎么知道哪些 AI 爬虫来过我的网站？

看服务器记录（access log）里的 User-Agent——GPTBot、ClaudeBot、OAI-SearchBot 这些名字会直接出现。要验真身份，再用 IP 反查与官方公布的网段比对（爬虫身份会被冒充，本文的数据全部过了这道验证）。本文所有数字，就是这样一笔一笔数出来的。

どのAIクローラーが自分のサイトに来たか、どうすれば分かりますか？ — サーバーのアクセスログにあるUser-Agent欄を確認してください。GPTBot、ClaudeBot、OAI-SearchBotといった名前がそのまま現れます。なりすましがあるため、身元の確認はIPの逆引きと各社が公開している公式IPレンジとの照合で行います（本記事のデータはすべてこの検証を通過しています）。本記事の数字は、すべてこの方法で1件ずつ数えたものです。

How do I find out which AI crawlers have visited my website? — Check the User-Agent field in your server access logs—names like GPTBot, ClaudeBot, and OAI-SearchBot appear there directly. To verify identities, cross-check IPs against each company's officially published ranges (crawler identities can be spoofed; every figure in this article passed that verification). All the numbers in this article were counted exactly this way.

挡掉不带客的训练型爬虫，会有影响吗？

会有取舍。训练型爬虫（GPTBot、ClaudeBot 等）确实不带客，但它决定 AI 记不记得你——挡掉它，等于放弃在 AI 长期记忆里的位置。本站的选择是全开放、然后观测；要不要挡是每个站自己的策略，但至少要知道你放弃的是哪一层声量。

顧客を連れてこない学習型クローラーをブロックしても大丈夫ですか？ — トレードオフがあります。学習型クローラー（GPTBot、ClaudeBotなど）は確かに顧客を連れてきませんが、AIがあなたを覚えているかどうかを決めるのはこのタイプです。ブロックすることは、AIの長期記憶の中の居場所を手放すことを意味します。当サイトの選択は「全面開放して観測する」です。ブロックするかどうかは各サイトの戦略ですが、どの層の声量を手放すのかは知っておくべきです。

Would blocking the training crawlers that bring no customers hurt me? — It is a trade-off. Training crawlers (GPTBot, ClaudeBot, and others) indeed bring no customers, but they determine whether AI remembers you—blocking them means giving up your place in AI's long-term memory. Our choice is to stay fully open and observe. Whether to block is each site's own strategy, but you should at least know which layer of your share of voice you are giving up.

新内容发布后，多久才会被 AI 引用？

以本站实测，最能带来引用的两只索引型爬虫最慢：OAI-SearchBot 中位数 332.8 小时（13.9 天）、Bingbot 374.6 小时（15.6 天）才第一次来看新内容——先被看到，之后才可能被引用。所以新内容至少要预留两周以上的等待期，并用 sitemap、llms.txt、IndexNow 加速（对照实验未做，属合理建议）。

新しいコンテンツは、公開からどれくらいでAIに引用されますか？ — 当サイトの実測では、引用につながりやすい2つのインデックス型クローラーが最も遅く、OAI-SearchBotは中央値332.8時間（13.9日）、Bingbotは374.6時間（15.6日）かかって初めて新コンテンツを見に来ます。見られて初めて、引用の可能性が生まれます。新コンテンツには最低2週間以上の待機期間を見込み、sitemap、llms.txt、IndexNowで加速してください（導入前後の比較実験は未実施のため、合理的な推奨として扱ってください）。

After publishing new content, how long until AI can cite it? — In our measurements, the two indexing crawlers most likely to produce citations are also the slowest: OAI-SearchBot takes a median of 332.8 hours (13.9 days) and Bingbot 374.6 hours (15.6 days) to first visit new content—you must be seen before you can be cited. Plan for at least a two-week lead time, and use sitemap, llms.txt, and IndexNow to speed things up (a before-and-after control experiment is still pending; treat this as a reasoned recommendation).