3,000 萬 AI 爬蟲請求，學習到的第一堂課：語言決定命運

FAQ

網站被 AI 大量爬取，代表會被 AI 引用嗎？

不代表——但沒被爬取，就永遠不會被引用。近 30 天我們被爬 15,174,060 次，同窗 AI 帶進門的真人至少 277 位（下限）；就算只算引用型爬蟲，也要 1,327 次抓取才對應 1 位真人。但把兩份資料交叉比對後我們發現：曾被 AI 導流過的頁面平均被爬 32.4 次，從未被導流的頁面平均只有 4.8 次——差 6.8 倍。爬取是入場券，不是成績單。

サイトがAIに大量にクロールされていれば、AIに引用されるのか。 — 引用されるとは限らない——だがクロールされなければ、永遠に引用されない。直近30日間、我々は15,174,060回クロールされ、同期間にAIが連れてきた人間は少なくとも277名（下限）である；引用型クローラーだけを数えても、1,327回の取得が人間1名に対応する。しかし二つのデータを突き合わせて我々は発見した：AI経由の実訪問を生んだことのあるページは平均32.4回クロールされ、一度も生んでいないページは平均4.8回——6.8倍の差である。クロールは入場券であって、成績表ではない。

If my site is heavily crawled by AI, does that mean AI will cite it? — No — but a site never crawled will never be cited. Over the past 30 days we were crawled 15,174,060 times, while AI brought in at least 277 humans in the same window (lower bound); even counting citation-type crawlers alone, it takes 1,327 fetches to correspond to 1 human. Yet after cross-referencing two datasets we found: pages that had ever received AI referrals were crawled 32.4 times on average, versus only 4.8 for pages that never had — a 6.8x difference. Crawling is the admission ticket, not the report card.

那「被爬得多就會被引用」嗎？

不能這樣說。6.8 倍是相關性、不是因果：可能是好內容同時吸引爬蟲與引用，也可能是被引用之後帶來更多回訪爬取——我們的儀器分不開這兩者，必須誠實講。能負責任說的是：在我們的門口，沒被爬過的頁面幾乎不曾出現在 AI 的引用名單裡。

では「多くクロールされれば引用される」のか。 — そうは言えない。6.8倍は相関であって因果ではない：良いコンテンツがクローラーと引用を同時に引き寄せている可能性もあれば、引用された後に再訪クロールが増えた可能性もある——我々の計測器はこの二つを分離できず、そこは誠実に言わねばならない。責任を持って言えるのは：我々の玄関口では、クロールされたことのないページはAIの引用リストにほぼ現れたことがない、ということである。

So does "more crawling mean more citations"? — We cannot say that. The 6.8x is correlation, not causation: good content may attract crawlers and citations at once, or being cited may bring more revisit crawling afterward — our instrument cannot separate the two, and we must say so honestly. What we can responsibly say: at our door, pages never crawled have almost never appeared on AI's citation lists.

我該不該把 GPTBot、ClaudeBot 這些訓練型爬蟲擋掉？

擋之前先想清楚代價。訓練型爬蟲佔我們全部爬取的 76.9%（30 天 11,675,206 次），它們確實不帶客人；但它們是 AI「認識你」的唯一途徑。擋掉訓練型爬蟲，等於不讓自己的書進圖書館，然後抱怨沒人借。除非有明確的版權或商業機密考量，否則別急著關門。

GPTBot や ClaudeBot のような学習型クローラーはブロックすべきか。 — ブロックする前に、まず代価を考えるべきである。学習型クローラーは我々の全取得の76.9%（30日間で11,675,206回）を占め、確かに客は連れてこない；だがそれは、AIが「あなたを知る」唯一の経路である。学習型クローラーを塞ぐことは、自分の本を図書館に入れさせず、誰も借りないと嘆くに等しい。明確な著作権や営業秘密上の考慮がない限り、急いで扉を閉めるべきではない。

Should I block training crawlers like GPTBot and ClaudeBot? — Think through the cost before blocking. Training crawlers account for 76.9% of all our fetches (11,675,206 in 30 days), and they indeed bring no customers; but they are the only way AI gets to "know you." Blocking training crawlers is refusing to let your own books into the library, then complaining that no one borrows them. Unless you have clear copyright or trade-secret concerns, do not rush to shut the door.

三層爬蟲怎麼分？我要怎麼知道誰在抓我？

看 User-Agent。訓練型：GPTBot、ClaudeBot、Google AI、Meta AI 等（抓回去訓練，不導流）。引用型：ChatGPT-User、OAI-SearchBot、PerplexityBot 等（AI 答題或建索引時來取材，可能帶人來）。搜尋型：Googlebot、Bingbot（傳統搜尋索引，如今也供應 AI Overviews）。三層的量級差很多：我們 30 天分別是 1,167 萬／36.7 萬／311 萬次。

3種のクローラーはどう見分けるのか。誰が自分のサイトを取得しているか、どう知ればよいか。 — User-Agentを見る。学習型：GPTBot、ClaudeBot、Google AI、Meta AIなど（学習用に持ち帰る。実訪問は生まない）。引用型：ChatGPT-User、OAI-SearchBot、PerplexityBotなど（AIが回答やインデックス構築の際に素材を取りに来る。人を連れてくる可能性がある）。検索型：Googlebot、Bingbot（従来の検索インデックスで、現在はAI Overviewsにも供給する）。3層の規模差は非常に大きい：我々の30日間の数値は、それぞれ1,167万／36.7万／311万回である。

How do the three crawler tiers split? How do I know who is crawling me? — Look at the User-Agent. Training: GPTBot, ClaudeBot, Google AI, Meta AI, etc. (fetch for training; no referrals). Citation-type: ChatGPT-User, OAI-SearchBot, PerplexityBot, etc. (fetch material when AI answers or builds indexes; may bring people in). Search: Googlebot, Bingbot (traditional search indexing, now also feeding AI Overviews). The scales differ enormously across the three tiers: our 30-day counts were roughly 11.67 million / 367,000 / 3.11 million respectively.

為什麼中文這麼弱？是內容不好嗎？

我們的數據回答不了「為什麼」，只能告訴你差距發生在哪一層：訓練層三語幾乎打平（各約 33%），代表 AI 學中文內容並不少；差距出現在引用型抓取（中文 12.8%）與真人導流（中文 3.3%）。也就是說，中文內容不是沒被看到，是走到「要不要選你當答案來源」那一關時極少被選中。原因（語言模型的訓練分布？使用者提問語言？來源權重？）我們的儀器分不開，不會亂猜。

なぜ中国語はこれほど弱いのか。コンテンツが悪いのか。 — 我々のデータは「なぜ」には答えられない。答えられるのは、格差がどの層で生じているかである：学習層は3言語ほぼ均等（各約33%）であり、AIが中国語コンテンツを学んでいないわけではない；格差は引用型取得（中国語12.8%）とAI経由の実訪問（中国語3.3%）で現れる。つまり中国語コンテンツは見られていないのではなく、「回答ソースとしてあなたを選ぶか」の関門で選ばれることが極めて少ないのである。原因（言語モデルの学習分布か、利用者の質問言語か、ソースの重み付けか）は我々の計測器では分離できず、当て推量はしない。

Why is Chinese so weak? Is the content bad? — Our data cannot answer "why"; it can only tell you at which tier the gap occurs: the training tier is nearly even across the three languages (about 33% each), so AI does not under-learn Chinese content; the gap appears at citation-type fetches (Chinese 12.8%) and human referrals (Chinese 3.3%). That is, Chinese content is not unseen — it is rarely chosen at the "should we pick you as an answer source" gate. As for the cause (training distribution of language models? users' question language? source weighting?) — our instrument cannot separate these, and we will not guess.

英文版該怎麼做才有效？直接丟翻譯軟體就好了嗎？

翻給人看和做給機器讀，是兩件事。AI 引擎讀你的頁面時，抓的是事實與實體：公司正式名稱、官方登記編號、數字、日期與彼此的關係。正確順序是先把這些「要對齊的東西」在原文鎖定，再產生英文版。專有名詞是機器翻譯最常出錯的地方——錯一個，AI 就對不上你是誰，做了等於白做。

英語版はどう作れば効果があるのか。翻訳ソフトに放り込むだけでよいか。 — 人間向けに翻訳することと、機械向けに作ることは別物である。AIエンジンがページを読むとき、掴むのは事実と実体である：会社の正式名称、公式登記番号、数字、日付、そして相互の関係。正しい順序は、まず原文でこれら「照合されるべきもの」を確定させ、その後に英語版を生成することである。固有名詞は機械翻訳が最も誤りやすい箇所であり——一つ間違えればAIはあなたが誰か照合できず、やった意味がなくなる。

How do I make an English version that actually works? Just run it through machine translation? — Translating for people and building for machines are two different things. When an AI engine reads your page, it grabs facts and entities: official company names, official registration numbers, figures, dates, and the relationships among them. The correct order is to lock down these "things to align on" in the original first, then produce the English version. Proper nouns are where machine translation fails most often — get one wrong and AI cannot match who you are; the work is wasted.

日文值得投資嗎？我們沒有日本市場。

沒有日本市場就不必為了 AI 去做日文。但如果你本來就經營日本，日文原文有獨立價值：OAI-SearchBot 抓我們日文頁的量是英文頁的 1.6 倍。有趣的是同屬 OpenAI 的另一隻爬蟲 ChatGPT-User 卻偏愛英文——同一家公司，兩隻爬蟲口味相反，這說明「AI」不是單一讀者。

日本語に投資する価値はあるか。我々には日本市場がないのだが。 — 日本市場がないなら、AIのために日本語を作る必要はない。だが既に日本で事業をしているなら、日本語原文には独立した価値がある：OAI-SearchBotが我々の日本語ページを取得する量は英語ページの1.6倍である。興味深いのは、同じOpenAIに属するもう一つのクローラー ChatGPT-User が英語を好むことだ——同じ会社の二つのクローラーの好みが正反対であり、これは「AI」が単一の読者ではないことを物語る。

Is Japanese worth investing in? We have no Japanese market. — If you have no Japanese market, there is no need to create Japanese for AI's sake. But if you already operate in Japan, Japanese originals carry independent value: OAI-SearchBot fetches our Japanese pages at 1.6 times the volume of English pages. Interestingly, ChatGPT-User — another crawler of the same company, OpenAI — favors English instead: one company, two crawlers, opposite appetites, which shows "AI" is not a single reader.

這些數字能直接套用到我的網站嗎？

不能。這是單一台日新聞內容平台的供給側樣本，不是全網普查；我們的內容類型、語言配置、更新頻率都會影響讀數。可以借用的是「方法」與「分層」：把你自家的爬蟲日誌拆成訓練／引用／搜尋三層，再對照語言，你會得到屬於你的那張圖——通常跟直覺不一樣。

これらの数字は自分のサイトにそのまま当てはめられるか。 — 当てはめられない。これは単一の台日ニュースコンテンツプラットフォームの供給側サンプルであり、ウェブ全体の調査ではない；コンテンツの種類、言語構成、更新頻度のいずれも読み値に影響する。借用できるのは「方法」と「層別」である：自社のクローラーログを学習／引用／検索の3層に分け、言語と突き合わせれば、あなた自身の一枚の地図が得られる——たいてい直観とは違うものになる。

Can I apply these numbers directly to my own site? — No. This is a supply-side sample from a single Taiwan-Japan news content platform, not a web-wide census; our content type, language mix, and update frequency all shape the readings. What you can borrow is the method and the tiering: split your own crawler logs into training/citation/search tiers, then cross them with language, and you will get your own map — usually different from intuition.

為什麼你們的「真人導流」只算 referer？會不會低估？

一定低估，而且我們刻意標成「下限」。多數 AI 服務不送 referer，代表有人從 AI 點進來、瀏覽器卻沒告訴我們他從哪來。所以 277 這個數字只可能被低估，不會被高估。我們寧可報一個保守的下限，也不用推估值去美化。

なぜ「AI経由の実訪問（人間）」はrefererだけを数えるのか。過小評価にならないか。 — 必ず過小評価になる。だからこそ我々は、意図的に「下限」と表記している。大半のAIサービスはrefererを送らないため、AIからクリックして来た人がいても、ブラウザはどこから来たかを我々に伝えない。したがって277という数字は過小にはなり得ても、過大にはなり得ない。推計値で数字を飾るより、保守的な下限を報告する方を我々は選ぶ。

Why do your "human referrals" count only referers? Doesn't that underestimate? — It certainly underestimates, and we deliberately label it a lower bound. Most AI services send no referer, meaning someone clicks through from AI and the browser never tells us where they came from. So the number 277 can only be underestimated, never overestimated. We would rather report a conservative lower bound than dress the figure up with an estimate.

這份排行榜多久會過期？

比你想的快。同一批內容，我們前後兩次量測之間（25 天），日文在引用型抓取的領先幅度就從 14.7 個百分點縮到 1.9 個百分點。任何「AI 偏好某某平台／某某語言」的排序，都必須標日期並持續重測——包括這一篇。

このランキングはどのくらいで古くなるのか。 — 思うより速い。同じコンテンツで、我々の前後2回の計測の間（25日間）に、引用型取得における日本語のリード幅は14.7ポイントから1.9ポイントまで縮んだ。「AIは某プラットフォーム／某言語を好む」といういかなる順位付けも、日付を明記し、継続的に再計測しなければならない——本稿も含めてである。

How soon will these rankings expire? — Sooner than you think. On the same content, between our two measurements (25 days), Japanese's lead in citation-type fetches shrank from 14.7 percentage points to 1.9 percentage points. Any ranking of "AI prefers such-and-such platform / such-and-such language" must carry a date and be re-measured continuously — including this article.

你們自己中文導流只有 3.3%，這樣的數據可信嗎？

正因為對我們自己不利，我們才更該原樣公布。這個數字量的是「本平台的中文頁在此窗口取得的可識別 AI 導流份額」，不是「中文內容在全網的引用率」，也不是任何服務介入後的成效。它是一個診斷基線——診斷難看，正是要做事的理由。

あなた方自身の中国語実訪問はわずか3.3%だが、そのようなデータは信頼できるのか。 — 我々自身に不利だからこそ、なおさらそのまま公表すべきなのである。この数字が測っているのは「本プラットフォームの中国語ページがこのウィンドウで得た、識別可能なAI経由実訪問のシェア」であり、「中国語コンテンツのウェブ全体での引用率」でも、何らかのサービス介入後の成果でもない。これは診断のベースラインである——診断結果が悪いことこそ、動くべき理由である。

Your own Chinese referrals are only 3.3% — is data like this credible? — Precisely because it is unflattering to ourselves, we are all the more obliged to publish it as is. This figure measures "the identifiable AI referral share obtained by this platform's Chinese pages in this window" — not "the citation rate of Chinese content across the web," nor the outcome after any service intervention. It is a diagnostic baseline — and an ugly diagnosis is exactly the reason to act.

這些數據我可以引用嗎？

歡迎引用與轉載，請完整註明文章標題、原始網址與 IDAEO.AI，並標註數據截止日 2026-07-12。若你要重跑驗證，我們也提供完整取數方法——寫信到 [email protected] 索取。

これらのデータを引用してよいか。 — 引用・転載を歓迎する。記事タイトル・原URL・IDAEO.AIを完全に明記し、データ基準日2026-07-12を併記されたい。再実行して検証したい場合は、完全な集計方法も提供する——[email protected] 宛に請求されたい。

May I cite these numbers? — Citation and republication are welcome; please credit the article title, the original URL, and IDAEO.AI in full, and mark the data cutoff 2026-07-12. If you want to re-run the verification, we also provide the full data-extraction method — write to [email protected] to request it.