看不見的讀者：12 隻 AI 爬蟲現形

FAQ

我不是科技業，AI 爬蟲跟我的網站有什麼關係？

只要你希望有人透過 AI 找到你，就有關係。AI 推薦任何網站之前，一定先派爬蟲來讀過它——沒被讀過，你的網站在 AI 的答案裡根本不存在。這不是排名高低的問題，是有沒有入場券的問題。

私はテクノロジー業界ではありません。AIクローラーは私のWebサイトとどんな関係があるのですか？ — AIを通じて誰かに見つけてもらいたいなら、関係があります。AIがWebサイトをおすすめする前には、必ずクローラーを送り、事前にそのサイトを読んでいます。読まれていなければ、あなたのWebサイトはAIの回答の中にそもそも存在しません。順位の高低ではなく、入場券を持っているかどうかの問題です。

I am not in the tech industry. What do AI crawlers have to do with my website? — If you want people to find you through AI, they have everything to do with it. Before AI recommends any website, a crawler must first read it. If your site has never been read, it simply does not exist in AI’s answers. This is not a question of ranking high or low; it is a question of whether you have the price of admission.

內容寫得好，AI 爬蟲就會更常來嗎？

實測不會。機器來者不拒——ClaudeBot 對品質分級幾乎無感（green 2.56、red 2.62，red 還略高）；但真人透過 AI 讀好內容的次數明顯更多（1.9 倍到 2.26 倍，實測）。好內容的回報要看引用與導流，不要用爬蟲量驗收。

良いコンテンツを書けば、AIクローラーはもっと頻繁に来るようになりますか？ — 実測では、そうなりません。機械は選り好みしません。ClaudeBotは品質区分にほぼ反応せず（green 2.56、red 2.62で、redがわずかに上回りました）、一方で実ユーザーがAIを通じて良いコンテンツを読む回数は明らかに増えました（1.9倍から2.26倍、実測）。良いコンテンツの成果は引用と流入で評価し、クローラーの件数で評価しないでください。

If I write better content, will AI crawlers visit more often? — Our measurements say no. Machines take everything—ClaudeBot was almost entirely indifferent to the quality grades (green 2.56, red 2.62, with red slightly higher). But real people read good content through AI between 1.9 and 2.26 times as often (measured). Judge the return on good content by citations and referral traffic, not crawler volume.

想讓 AI 更快發現我的新內容，具體該做什麼？

把 sitemap（網站的完整頁面目錄）、llms.txt（寫給 AI 看的網站導覽）準備好，並用 IndexNow 主動通知。實測 Bingbot 30 天抓了 32,993 次 sitemap，Amazonbot 和 GPTBot 重度消費 llms.txt——這是對反應最慢、卻最能帶客的索引型爬蟲，最直接的加速方法。

AIに新しいコンテンツをもっと早く見つけてもらうには、具体的に何をすべきですか？ — sitemap（Webサイト内の全ページ一覧）とllms.txt（AI向けのWebサイト案内）を用意し、IndexNowで能動的に通知してください。実測では、Bingbotは30日間でsitemapを32,993回クロールし、AmazonbotとGPTBotはllms.txtを重点的に利用していました。これは、反応が最も遅い一方で最も顧客を連れてくるインデックス型クローラーを加速させる、最も直接的な方法です。

What exactly should I do to help AI discover my new content faster? — Prepare sitemap (a complete directory of your website’s pages) and llms.txt (a site guide written for AI), then use IndexNow to send proactive notifications. Bingbot fetched sitemap 32,993 times over 30 days (measured), while Amazonbot and GPTBot consume llms.txt heavily. For the search-indexing crawlers that respond the slowest yet bring the most customers, these are the most direct ways to accelerate discovery.

什麼是「AI 聲量」？

本文的定義很具體：**AI 爬蟲對你網站的請求，就是你的 AI 聲量**（口徑：本站伺服器紀錄，可數、可驗）。三類請求對應三種聲量：訓練型請求決定 AI 記不記得你，索引型請求決定 AI 引不引得到你，真人代抓請求代表 AI 正在把你講給某個人聽。請求是零，聲量就是零——AI 的答案裡不會有你。

「AIでの声量」とは何ですか？ — 本記事の定義は具体的です。**AIクローラーがあなたのWebサイトに送るリクエストこそが、あなたのAIでの声量です**（当サイトの伺服器紀錄サーバーログに基づき、数えられ、検証できます）。3種類のリクエストは3種類の声量に対応します。学習型リクエストはAIがあなたを覚えているかどうかを決め、インデックス型リクエストはAIがあなたを引用できるかどうかを決め、実ユーザー代理取得のリクエストはAIがいままさに誰かにあなたを語っていることを意味します。リクエストがゼロなら、声量もゼロ——AIの答えにあなたは登場しません。

What is "AI share of voice"? — This article uses a concrete definition: **your AI share of voice is the requests AI crawlers make to your website** (as recorded in our 伺服器紀錄 server logs—countable and verifiable). The three kinds of requests map to three kinds of voice: training requests determine whether AI remembers you, indexing requests determine whether AI can cite you, and user-triggered requests mean AI is telling someone about you right now. Zero requests means zero share of voice—you will not appear in AI's answers.

照著做，就保證會被 AI 引用嗎？

不保證。被讀取只是必要條件，我們實測被讀取到被引用的轉化率大約一成，而且這是 n=1 的單站觀測，結論不保證能直接套用到其他網站。能確定的是反面：沒被讀過的內容，一定不會出現在 AI 的答案裡。

そのとおりにすれば、AIに引用されることが保証されますか？ — 保証されません。読まれることは必要条件にすぎません。私たちが実測した、読まれてから引用に至る転換率は約約一成です。しかも、これはn=1の単一サイト観測であり、結論をほかのWebサイトへそのまま適用できる保証はありません。確実なのは、その逆です。読まれていないコンテンツが、AIの回答に現れることはありません。

If I follow these steps, am I guaranteed to be cited by AI? — No. Being read is only a necessary condition. Our measured read-to-citation conversion rate is roughly 約一成, and this is an n=1 observation of a single site; the findings cannot be assumed to apply directly to other websites. What we do know for certain is the reverse: content that has never been read cannot appear in an AI answer.

怎麼知道哪些 AI 爬蟲來過我的網站？

看伺服器紀錄（access log）裡的 User-Agent——GPTBot、ClaudeBot、OAI-SearchBot 這些名字會直接出現。要驗真身分，再用 IP 反查與官方公布的網段比對（爬蟲身分會被冒充，本文的資料全部過了這道驗證）。本文所有數字，就是這樣一筆一筆數出來的。

どのAIクローラーが自分のサイトに来たか、どうすれば分かりますか？ — サーバーのアクセスログにあるUser-Agent欄を確認してください。GPTBot、ClaudeBot、OAI-SearchBotといった名前がそのまま現れます。なりすましがあるため、身元の確認はIPの逆引きと各社が公開している公式IPレンジとの照合で行います（本記事のデータはすべてこの検証を通過しています）。本記事の数字は、すべてこの方法で1件ずつ数えたものです。

How do I find out which AI crawlers have visited my website? — Check the User-Agent field in your server access logs—names like GPTBot, ClaudeBot, and OAI-SearchBot appear there directly. To verify identities, cross-check IPs against each company's officially published ranges (crawler identities can be spoofed; every figure in this article passed that verification). All the numbers in this article were counted exactly this way.

擋掉不帶客的訓練型爬蟲，會有影響嗎？

會有取捨。訓練型爬蟲（GPTBot、ClaudeBot 等）確實不帶客，但它決定 AI 記不記得你——擋掉它，等於放棄在 AI 長期記憶裡的位置。本站的選擇是全開放、然後觀測；要不要擋是每個站自己的策略，但至少要知道你放棄的是哪一層聲量。

顧客を連れてこない学習型クローラーをブロックしても大丈夫ですか？ — トレードオフがあります。学習型クローラー（GPTBot、ClaudeBotなど）は確かに顧客を連れてきませんが、AIがあなたを覚えているかどうかを決めるのはこのタイプです。ブロックすることは、AIの長期記憶の中の居場所を手放すことを意味します。当サイトの選択は「全面開放して観測する」です。ブロックするかどうかは各サイトの戦略ですが、どの層の声量を手放すのかは知っておくべきです。

Would blocking the training crawlers that bring no customers hurt me? — It is a trade-off. Training crawlers (GPTBot, ClaudeBot, and others) indeed bring no customers, but they determine whether AI remembers you—blocking them means giving up your place in AI's long-term memory. Our choice is to stay fully open and observe. Whether to block is each site's own strategy, but you should at least know which layer of your share of voice you are giving up.

新內容發布後，多久才會被 AI 引用？

以本站實測，最能帶來引用的兩隻索引型爬蟲最慢：OAI-SearchBot 中位數 332.8 小時（13.9 天）、Bingbot 374.6 小時（15.6 天）才第一次來看新內容——先被看到，之後才可能被引用。所以新內容至少要預留兩週以上的等待期，並用 sitemap、llms.txt、IndexNow 加速（對照實驗未做，屬合理建議）。

新しいコンテンツは、公開からどれくらいでAIに引用されますか？ — 当サイトの実測では、引用につながりやすい2つのインデックス型クローラーが最も遅く、OAI-SearchBotは中央値332.8時間（13.9日）、Bingbotは374.6時間（15.6日）かかって初めて新コンテンツを見に来ます。見られて初めて、引用の可能性が生まれます。新コンテンツには最低2週間以上の待機期間を見込み、sitemap、llms.txt、IndexNowで加速してください（導入前後の比較実験は未実施のため、合理的な推奨として扱ってください）。

After publishing new content, how long until AI can cite it? — In our measurements, the two indexing crawlers most likely to produce citations are also the slowest: OAI-SearchBot takes a median of 332.8 hours (13.9 days) and Bingbot 374.6 hours (15.6 days) to first visit new content—you must be seen before you can be cited. Plan for at least a two-week lead time, and use sitemap, llms.txt, and IndexNow to speed things up (a before-and-after control experiment is still pending; treat this as a reasoned recommendation).