3,000 万 AI 爬虫请求，学到的第一堂课：语言决定命运

FAQ

网站被 AI 大量抓取，代表会被 AI 引用吗？

不代表——但没被抓取，就永远不会被引用。近 30 天我们被爬 15,174,060 次，同一窗口内 AI 带进门的真人至少 277 位（下限）；就算只算引用型爬虫，也要 1,327 次抓取才对应 1 位真人。但把两份数据交叉比对后我们发现：曾被 AI 引流过的页面平均被抓取 32.4 次，从未被引流的页面平均只有 4.8 次——差 6.8 倍。抓取是入场券，不是成绩单。

サイトがAIに大量にクロールされていれば、AIに引用されるのか。 — 引用されるとは限らない——だがクロールされなければ、永遠に引用されない。直近30日間、我々は15,174,060回クロールされ、同期間にAIが連れてきた人間は少なくとも277名（下限）である；引用型クローラーだけを数えても、1,327回の取得が人間1名に対応する。しかし二つのデータを突き合わせて我々は発見した：AI経由の実訪問を生んだことのあるページは平均32.4回クロールされ、一度も生んでいないページは平均4.8回——6.8倍の差である。クロールは入場券であって、成績表ではない。

If my site is heavily crawled by AI, does that mean AI will cite it? — No — but a site never crawled will never be cited. Over the past 30 days we were crawled 15,174,060 times, while AI brought in at least 277 humans in the same window (lower bound); even counting citation-type crawlers alone, it takes 1,327 fetches to correspond to 1 human. Yet after cross-referencing two datasets we found: pages that had ever received AI referrals were crawled 32.4 times on average, versus only 4.8 for pages that never had — a 6.8x difference. Crawling is the admission ticket, not the report card.

那“被爬得多就会被引用”吗？

不能这样说。6.8 倍是相关性、不是因果：可能是好内容同时吸引爬虫与引用，也可能是被引用之后带来更多回访抓取——我们的仪器分不开这两者，必须诚实讲。能负责任说的是：在我们的门口，没被爬过的页面几乎不曾出现在 AI 的引用名单里。

では「多くクロールされれば引用される」のか。 — そうは言えない。6.8倍は相関であって因果ではない：良いコンテンツがクローラーと引用を同時に引き寄せている可能性もあれば、引用された後に再訪クロールが増えた可能性もある——我々の計測器はこの二つを分離できず、そこは誠実に言わねばならない。責任を持って言えるのは：我々の玄関口では、クロールされたことのないページはAIの引用リストにほぼ現れたことがない、ということである。

So does "more crawling mean more citations"? — We cannot say that. The 6.8x is correlation, not causation: good content may attract crawlers and citations at once, or being cited may bring more revisit crawling afterward — our instrument cannot separate the two, and we must say so honestly. What we can responsibly say: at our door, pages never crawled have almost never appeared on AI's citation lists.

我该不该把 GPTBot、ClaudeBot 这些训练型爬虫挡掉？

挡之前先想清楚代价。训练型爬虫占我们全部抓取的 76.9%（30 天 11,675,206 次），它们确实不带客人；但它们是 AI“认识你”的唯一途径。挡掉训练型爬虫，等于不让自己的书进图书馆，然后抱怨没人借。除非有明确的版权或商业机密考量，否则别急着关门。

GPTBot や ClaudeBot のような学習型クローラーはブロックすべきか。 — ブロックする前に、まず代価を考えるべきである。学習型クローラーは我々の全取得の76.9%（30日間で11,675,206回）を占め、確かに客は連れてこない；だがそれは、AIが「あなたを知る」唯一の経路である。学習型クローラーを塞ぐことは、自分の本を図書館に入れさせず、誰も借りないと嘆くに等しい。明確な著作権や営業秘密上の考慮がない限り、急いで扉を閉めるべきではない。

Should I block training crawlers like GPTBot and ClaudeBot? — Think through the cost before blocking. Training crawlers account for 76.9% of all our fetches (11,675,206 in 30 days), and they indeed bring no customers; but they are the only way AI gets to "know you." Blocking training crawlers is refusing to let your own books into the library, then complaining that no one borrows them. Unless you have clear copyright or trade-secret concerns, do not rush to shut the door.

三层爬虫怎么分？我要怎么知道谁在抓我？

看 User-Agent。训练型：GPTBot、ClaudeBot、Google AI、Meta AI 等（抓回去训练，不引流）。引用型：ChatGPT-User、OAI-SearchBot、PerplexityBot 等（AI 答题或建索引时来取材，可能带人来）。搜索型：Googlebot、Bingbot（传统搜索索引，如今也供应 AI Overviews）。三层的量级差很多：我们 30 天分别约是 1,167 万／36.7 万／311 万次。

3種のクローラーはどう見分けるのか。誰が自分のサイトを取得しているか、どう知ればよいか。 — User-Agentを見る。学習型：GPTBot、ClaudeBot、Google AI、Meta AIなど（学習用に持ち帰る。実訪問は生まない）。引用型：ChatGPT-User、OAI-SearchBot、PerplexityBotなど（AIが回答やインデックス構築の際に素材を取りに来る。人を連れてくる可能性がある）。検索型：Googlebot、Bingbot（従来の検索インデックスで、現在はAI Overviewsにも供給する）。3層の規模差は非常に大きい：我々の30日間の数値は、それぞれ1,167万／36.7万／311万回である。

How do the three crawler tiers split? How do I know who is crawling me? — Look at the User-Agent. Training: GPTBot, ClaudeBot, Google AI, Meta AI, etc. (fetch for training; no referrals). Citation-type: ChatGPT-User, OAI-SearchBot, PerplexityBot, etc. (fetch material when AI answers or builds indexes; may bring people in). Search: Googlebot, Bingbot (traditional search indexing, now also feeding AI Overviews). The scales differ enormously across the three tiers: our 30-day counts were roughly 11.67 million / 367,000 / 3.11 million respectively.

为什么中文这么弱？是内容不好吗？

我们的数据回答不了“为什么”，只能告诉你差距发生在哪一层：训练层三语几乎持平（各约 33%），说明 AI 学中文内容并不少；差距出现在引用型抓取（中文 12.8%）与真人引流（中文 3.3%）。也就是说，中文内容不是没被看到，而是走到“要不要选你当答案来源”那一关时极少被选中。原因（语言模型的训练分布？用户提问语言？来源权重？）我们的仪器分不开，不会乱猜。

なぜ中国語はこれほど弱いのか。コンテンツが悪いのか。 — 我々のデータは「なぜ」には答えられない。答えられるのは、格差がどの層で生じているかである：学習層は3言語ほぼ均等（各約33%）であり、AIが中国語コンテンツを学んでいないわけではない；格差は引用型取得（中国語12.8%）とAI経由の実訪問（中国語3.3%）で現れる。つまり中国語コンテンツは見られていないのではなく、「回答ソースとしてあなたを選ぶか」の関門で選ばれることが極めて少ないのである。原因（言語モデルの学習分布か、利用者の質問言語か、ソースの重み付けか）は我々の計測器では分離できず、当て推量はしない。

Why is Chinese so weak? Is the content bad? — Our data cannot answer "why"; it can only tell you at which tier the gap occurs: the training tier is nearly even across the three languages (about 33% each), so AI does not under-learn Chinese content; the gap appears at citation-type fetches (Chinese 12.8%) and human referrals (Chinese 3.3%). That is, Chinese content is not unseen — it is rarely chosen at the "should we pick you as an answer source" gate. As for the cause (training distribution of language models? users' question language? source weighting?) — our instrument cannot separate these, and we will not guess.

英文版该怎么做才有效？直接丢翻译软件就好了吗？

翻给人看和做给机器读，是两件事。AI 引擎读你的页面时，抓的是事实与实体：公司正式名称、官方注册编号、数字、日期与彼此的关系。正确顺序是先把这些“要对齐的东西”在原文里锁定，再产出英文版。专有名词是机器翻译最常出错的地方——错一个，AI 就对不上你是谁，做了等于白做。

英語版はどう作れば効果があるのか。翻訳ソフトに放り込むだけでよいか。 — 人間向けに翻訳することと、機械向けに作ることは別物である。AIエンジンがページを読むとき、掴むのは事実と実体である：会社の正式名称、公式登記番号、数字、日付、そして相互の関係。正しい順序は、まず原文でこれら「照合されるべきもの」を確定させ、その後に英語版を生成することである。固有名詞は機械翻訳が最も誤りやすい箇所であり——一つ間違えればAIはあなたが誰か照合できず、やった意味がなくなる。

How do I make an English version that actually works? Just run it through machine translation? — Translating for people and building for machines are two different things. When an AI engine reads your page, it grabs facts and entities: official company names, official registration numbers, figures, dates, and the relationships among them. The correct order is to lock down these "things to align on" in the original first, then produce the English version. Proper nouns are where machine translation fails most often — get one wrong and AI cannot match who you are; the work is wasted.

日文值得投资吗？我们没有日本市场。

没有日本市场就不必为了 AI 去做日文。但如果你本来就经营日本，日文原文有独立价值：OAI-SearchBot 抓我们日文页的量是英文页的 1.6 倍。有趣的是同属 OpenAI 的另一只爬虫 ChatGPT-User 却偏爱英文——同一家公司，两只爬虫口味相反，这说明“AI”不是单一读者。

日本語に投資する価値はあるか。我々には日本市場がないのだが。 — 日本市場がないなら、AIのために日本語を作る必要はない。だが既に日本で事業をしているなら、日本語原文には独立した価値がある：OAI-SearchBotが我々の日本語ページを取得する量は英語ページの1.6倍である。興味深いのは、同じOpenAIに属するもう一つのクローラー ChatGPT-User が英語を好むことだ——同じ会社の二つのクローラーの好みが正反対であり、これは「AI」が単一の読者ではないことを物語る。

Is Japanese worth investing in? We have no Japanese market. — If you have no Japanese market, there is no need to create Japanese for AI's sake. But if you already operate in Japan, Japanese originals carry independent value: OAI-SearchBot fetches our Japanese pages at 1.6 times the volume of English pages. Interestingly, ChatGPT-User — another crawler of the same company, OpenAI — favors English instead: one company, two crawlers, opposite appetites, which shows "AI" is not a single reader.

这些数字能直接套用到我的网站吗？

不能。这是单一台日新闻内容平台的供给侧样本，不是全网普查；我们的内容类型、语言配置、更新频率都会影响读数。可以借用的是“方法”与“分层”：把你自家的爬虫日志拆成训练／引用／搜索三层，再对照语言，你会得到属于你的那张图——通常跟直觉不一样。

これらの数字は自分のサイトにそのまま当てはめられるか。 — 当てはめられない。これは単一の台日ニュースコンテンツプラットフォームの供給側サンプルであり、ウェブ全体の調査ではない；コンテンツの種類、言語構成、更新頻度のいずれも読み値に影響する。借用できるのは「方法」と「層別」である：自社のクローラーログを学習／引用／検索の3層に分け、言語と突き合わせれば、あなた自身の一枚の地図が得られる——たいてい直観とは違うものになる。

Can I apply these numbers directly to my own site? — No. This is a supply-side sample from a single Taiwan-Japan news content platform, not a web-wide census; our content type, language mix, and update frequency all shape the readings. What you can borrow is the method and the tiering: split your own crawler logs into training/citation/search tiers, then cross them with language, and you will get your own map — usually different from intuition.

为什么你们的“真人引流”只算 referer？会不会低估？

一定低估，而且我们刻意标成“下限”。多数 AI 服务不送 referer，代表有人从 AI 点进来、浏览器却没告诉我们他从哪来。所以 277 这个数字只可能被低估，不会被高估。我们宁可报一个保守的下限，也不用推估值去美化。

なぜ「AI経由の実訪問（人間）」はrefererだけを数えるのか。過小評価にならないか。 — 必ず過小評価になる。だからこそ我々は、意図的に「下限」と表記している。大半のAIサービスはrefererを送らないため、AIからクリックして来た人がいても、ブラウザはどこから来たかを我々に伝えない。したがって277という数字は過小にはなり得ても、過大にはなり得ない。推計値で数字を飾るより、保守的な下限を報告する方を我々は選ぶ。

Why do your "human referrals" count only referers? Doesn't that underestimate? — It certainly underestimates, and we deliberately label it a lower bound. Most AI services send no referer, meaning someone clicks through from AI and the browser never tells us where they came from. So the number 277 can only be underestimated, never overestimated. We would rather report a conservative lower bound than dress the figure up with an estimate.

这份排行榜多久会过期？

比你想的快。同一批内容，我们前后两次测量之间（25 天），日文在引用型抓取的领先幅度就从 14.7 个百分点缩到 1.9 个百分点。任何“AI 偏好某某平台／某某语言”的排序，都必须标日期并持续重测——包括这一篇。

このランキングはどのくらいで古くなるのか。 — 思うより速い。同じコンテンツで、我々の前後2回の計測の間（25日間）に、引用型取得における日本語のリード幅は14.7ポイントから1.9ポイントまで縮んだ。「AIは某プラットフォーム／某言語を好む」といういかなる順位付けも、日付を明記し、継続的に再計測しなければならない——本稿も含めてである。

How soon will these rankings expire? — Sooner than you think. On the same content, between our two measurements (25 days), Japanese's lead in citation-type fetches shrank from 14.7 percentage points to 1.9 percentage points. Any ranking of "AI prefers such-and-such platform / such-and-such language" must carry a date and be re-measured continuously — including this article.

你们自己中文引流只有 3.3%，这样的数据可信吗？

正因为对我们自己不利，我们才更该原样公布。这个数字测的是“本平台的中文页在此窗口取得的可识别 AI 引流份额”，不是“中文内容在全网的引用率”，也不是任何服务介入后的成效。它是一个诊断基线——诊断难看，正是要做事的理由。

あなた方自身の中国語実訪問はわずか3.3%だが、そのようなデータは信頼できるのか。 — 我々自身に不利だからこそ、なおさらそのまま公表すべきなのである。この数字が測っているのは「本プラットフォームの中国語ページがこのウィンドウで得た、識別可能なAI経由実訪問のシェア」であり、「中国語コンテンツのウェブ全体での引用率」でも、何らかのサービス介入後の成果でもない。これは診断のベースラインである——診断結果が悪いことこそ、動くべき理由である。

Your own Chinese referrals are only 3.3% — is data like this credible? — Precisely because it is unflattering to ourselves, we are all the more obliged to publish it as is. This figure measures "the identifiable AI referral share obtained by this platform's Chinese pages in this window" — not "the citation rate of Chinese content across the web," nor the outcome after any service intervention. It is a diagnostic baseline — and an ugly diagnosis is exactly the reason to act.

这些数据我可以引用吗？

欢迎引用与转载，请完整注明文章标题、原始网址与 IDAEO.AI，并标注数据截止日 2026-07-12。若你要重跑验证，我们也提供完整取数方法——写信到 [email protected] 索取。

これらのデータを引用してよいか。 — 引用・転載を歓迎する。記事タイトル・原URL・IDAEO.AIを完全に明記し、データ基準日2026-07-12を併記されたい。再実行して検証したい場合は、完全な集計方法も提供する——[email protected] 宛に請求されたい。

May I cite these numbers? — Citation and republication are welcome; please credit the article title, the original URL, and IDAEO.AI in full, and mark the data cutoff 2026-07-12. If you want to re-run the verification, we also provide the full data-extraction method — write to [email protected] to request it.