3,000万件のAIクローラーリクエストから学んだ第一の教訓：言語が運命を決める

FAQ

サイトがAIに大量にクロールされていれば、AIに引用されるのか。

引用されるとは限らない——だがクロールされなければ、永遠に引用されない。直近30日間、我々は15,174,060回クロールされ、同期間にAIが連れてきた人間は少なくとも277名（下限）である；引用型クローラーだけを数えても、1,327回の取得が人間1名に対応する。しかし二つのデータを突き合わせて我々は発見した：AI経由の実訪問を生んだことのあるページは平均32.4回クロールされ、一度も生んでいないページは平均4.8回——6.8倍の差である。クロールは入場券であって、成績表ではない。

サイトがAIに大量にクロールされていれば、AIに引用されるのか。 — 引用されるとは限らない——だがクロールされなければ、永遠に引用されない。直近30日間、我々は15,174,060回クロールされ、同期間にAIが連れてきた人間は少なくとも277名（下限）である；引用型クローラーだけを数えても、1,327回の取得が人間1名に対応する。しかし二つのデータを突き合わせて我々は発見した：AI経由の実訪問を生んだことのあるページは平均32.4回クロールされ、一度も生んでいないページは平均4.8回——6.8倍の差である。クロールは入場券であって、成績表ではない。

If my site is heavily crawled by AI, does that mean AI will cite it? — No — but a site never crawled will never be cited. Over the past 30 days we were crawled 15,174,060 times, while AI brought in at least 277 humans in the same window (lower bound); even counting citation-type crawlers alone, it takes 1,327 fetches to correspond to 1 human. Yet after cross-referencing two datasets we found: pages that had ever received AI referrals were crawled 32.4 times on average, versus only 4.8 for pages that never had — a 6.8x difference. Crawling is the admission ticket, not the report card.

では「多くクロールされれば引用される」のか。

そうは言えない。6.8倍は相関であって因果ではない：良いコンテンツがクローラーと引用を同時に引き寄せている可能性もあれば、引用された後に再訪クロールが増えた可能性もある——我々の計測器はこの二つを分離できず、そこは誠実に言わねばならない。責任を持って言えるのは：我々の玄関口では、クロールされたことのないページはAIの引用リストにほぼ現れたことがない、ということである。

では「多くクロールされれば引用される」のか。 — そうは言えない。6.8倍は相関であって因果ではない：良いコンテンツがクローラーと引用を同時に引き寄せている可能性もあれば、引用された後に再訪クロールが増えた可能性もある——我々の計測器はこの二つを分離できず、そこは誠実に言わねばならない。責任を持って言えるのは：我々の玄関口では、クロールされたことのないページはAIの引用リストにほぼ現れたことがない、ということである。

So does "more crawling mean more citations"? — We cannot say that. The 6.8x is correlation, not causation: good content may attract crawlers and citations at once, or being cited may bring more revisit crawling afterward — our instrument cannot separate the two, and we must say so honestly. What we can responsibly say: at our door, pages never crawled have almost never appeared on AI's citation lists.

GPTBot や ClaudeBot のような学習型クローラーはブロックすべきか。

ブロックする前に、まず代価を考えるべきである。学習型クローラーは我々の全取得の76.9%（30日間で11,675,206回）を占め、確かに客は連れてこない；だがそれは、AIが「あなたを知る」唯一の経路である。学習型クローラーを塞ぐことは、自分の本を図書館に入れさせず、誰も借りないと嘆くに等しい。明確な著作権や営業秘密上の考慮がない限り、急いで扉を閉めるべきではない。

GPTBot や ClaudeBot のような学習型クローラーはブロックすべきか。 — ブロックする前に、まず代価を考えるべきである。学習型クローラーは我々の全取得の76.9%（30日間で11,675,206回）を占め、確かに客は連れてこない；だがそれは、AIが「あなたを知る」唯一の経路である。学習型クローラーを塞ぐことは、自分の本を図書館に入れさせず、誰も借りないと嘆くに等しい。明確な著作権や営業秘密上の考慮がない限り、急いで扉を閉めるべきではない。

Should I block training crawlers like GPTBot and ClaudeBot? — Think through the cost before blocking. Training crawlers account for 76.9% of all our fetches (11,675,206 in 30 days), and they indeed bring no customers; but they are the only way AI gets to "know you." Blocking training crawlers is refusing to let your own books into the library, then complaining that no one borrows them. Unless you have clear copyright or trade-secret concerns, do not rush to shut the door.

3種のクローラーはどう見分けるのか。誰が自分のサイトを取得しているか、どう知ればよいか。

User-Agentを見る。学習型：GPTBot、ClaudeBot、Google AI、Meta AIなど（学習用に持ち帰る。実訪問は生まない）。引用型：ChatGPT-User、OAI-SearchBot、PerplexityBotなど（AIが回答やインデックス構築の際に素材を取りに来る。人を連れてくる可能性がある）。検索型：Googlebot、Bingbot（従来の検索インデックスで、現在はAI Overviewsにも供給する）。3層の規模差は非常に大きい：我々の30日間の数値は、それぞれ1,167万／36.7万／311万回である。

3種のクローラーはどう見分けるのか。誰が自分のサイトを取得しているか、どう知ればよいか。 — User-Agentを見る。学習型：GPTBot、ClaudeBot、Google AI、Meta AIなど（学習用に持ち帰る。実訪問は生まない）。引用型：ChatGPT-User、OAI-SearchBot、PerplexityBotなど（AIが回答やインデックス構築の際に素材を取りに来る。人を連れてくる可能性がある）。検索型：Googlebot、Bingbot（従来の検索インデックスで、現在はAI Overviewsにも供給する）。3層の規模差は非常に大きい：我々の30日間の数値は、それぞれ1,167万／36.7万／311万回である。

How do the three crawler tiers split? How do I know who is crawling me? — Look at the User-Agent. Training: GPTBot, ClaudeBot, Google AI, Meta AI, etc. (fetch for training; no referrals). Citation-type: ChatGPT-User, OAI-SearchBot, PerplexityBot, etc. (fetch material when AI answers or builds indexes; may bring people in). Search: Googlebot, Bingbot (traditional search indexing, now also feeding AI Overviews). The scales differ enormously across the three tiers: our 30-day counts were roughly 11.67 million / 367,000 / 3.11 million respectively.

なぜ中国語はこれほど弱いのか。コンテンツが悪いのか。

我々のデータは「なぜ」には答えられない。答えられるのは、格差がどの層で生じているかである：学習層は3言語ほぼ均等（各約33%）であり、AIが中国語コンテンツを学んでいないわけではない；格差は引用型取得（中国語12.8%）とAI経由の実訪問（中国語3.3%）で現れる。つまり中国語コンテンツは見られていないのではなく、「回答ソースとしてあなたを選ぶか」の関門で選ばれることが極めて少ないのである。原因（言語モデルの学習分布か、利用者の質問言語か、ソースの重み付けか）は我々の計測器では分離できず、当て推量はしない。

なぜ中国語はこれほど弱いのか。コンテンツが悪いのか。 — 我々のデータは「なぜ」には答えられない。答えられるのは、格差がどの層で生じているかである：学習層は3言語ほぼ均等（各約33%）であり、AIが中国語コンテンツを学んでいないわけではない；格差は引用型取得（中国語12.8%）とAI経由の実訪問（中国語3.3%）で現れる。つまり中国語コンテンツは見られていないのではなく、「回答ソースとしてあなたを選ぶか」の関門で選ばれることが極めて少ないのである。原因（言語モデルの学習分布か、利用者の質問言語か、ソースの重み付けか）は我々の計測器では分離できず、当て推量はしない。

Why is Chinese so weak? Is the content bad? — Our data cannot answer "why"; it can only tell you at which tier the gap occurs: the training tier is nearly even across the three languages (about 33% each), so AI does not under-learn Chinese content; the gap appears at citation-type fetches (Chinese 12.8%) and human referrals (Chinese 3.3%). That is, Chinese content is not unseen — it is rarely chosen at the "should we pick you as an answer source" gate. As for the cause (training distribution of language models? users' question language? source weighting?) — our instrument cannot separate these, and we will not guess.

英語版はどう作れば効果があるのか。翻訳ソフトに放り込むだけでよいか。

人間向けに翻訳することと、機械向けに作ることは別物である。AIエンジンがページを読むとき、掴むのは事実と実体である：会社の正式名称、公式登記番号、数字、日付、そして相互の関係。正しい順序は、まず原文でこれら「照合されるべきもの」を確定させ、その後に英語版を生成することである。固有名詞は機械翻訳が最も誤りやすい箇所であり——一つ間違えればAIはあなたが誰か照合できず、やった意味がなくなる。

英語版はどう作れば効果があるのか。翻訳ソフトに放り込むだけでよいか。 — 人間向けに翻訳することと、機械向けに作ることは別物である。AIエンジンがページを読むとき、掴むのは事実と実体である：会社の正式名称、公式登記番号、数字、日付、そして相互の関係。正しい順序は、まず原文でこれら「照合されるべきもの」を確定させ、その後に英語版を生成することである。固有名詞は機械翻訳が最も誤りやすい箇所であり——一つ間違えればAIはあなたが誰か照合できず、やった意味がなくなる。

How do I make an English version that actually works? Just run it through machine translation? — Translating for people and building for machines are two different things. When an AI engine reads your page, it grabs facts and entities: official company names, official registration numbers, figures, dates, and the relationships among them. The correct order is to lock down these "things to align on" in the original first, then produce the English version. Proper nouns are where machine translation fails most often — get one wrong and AI cannot match who you are; the work is wasted.

日本語に投資する価値はあるか。我々には日本市場がないのだが。

日本市場がないなら、AIのために日本語を作る必要はない。だが既に日本で事業をしているなら、日本語原文には独立した価値がある：OAI-SearchBotが我々の日本語ページを取得する量は英語ページの1.6倍である。興味深いのは、同じOpenAIに属するもう一つのクローラー ChatGPT-User が英語を好むことだ——同じ会社の二つのクローラーの好みが正反対であり、これは「AI」が単一の読者ではないことを物語る。

日本語に投資する価値はあるか。我々には日本市場がないのだが。 — 日本市場がないなら、AIのために日本語を作る必要はない。だが既に日本で事業をしているなら、日本語原文には独立した価値がある：OAI-SearchBotが我々の日本語ページを取得する量は英語ページの1.6倍である。興味深いのは、同じOpenAIに属するもう一つのクローラー ChatGPT-User が英語を好むことだ——同じ会社の二つのクローラーの好みが正反対であり、これは「AI」が単一の読者ではないことを物語る。

Is Japanese worth investing in? We have no Japanese market. — If you have no Japanese market, there is no need to create Japanese for AI's sake. But if you already operate in Japan, Japanese originals carry independent value: OAI-SearchBot fetches our Japanese pages at 1.6 times the volume of English pages. Interestingly, ChatGPT-User — another crawler of the same company, OpenAI — favors English instead: one company, two crawlers, opposite appetites, which shows "AI" is not a single reader.

これらの数字は自分のサイトにそのまま当てはめられるか。

当てはめられない。これは単一の台日ニュースコンテンツプラットフォームの供給側サンプルであり、ウェブ全体の調査ではない；コンテンツの種類、言語構成、更新頻度のいずれも読み値に影響する。借用できるのは「方法」と「層別」である：自社のクローラーログを学習／引用／検索の3層に分け、言語と突き合わせれば、あなた自身の一枚の地図が得られる——たいてい直観とは違うものになる。

これらの数字は自分のサイトにそのまま当てはめられるか。 — 当てはめられない。これは単一の台日ニュースコンテンツプラットフォームの供給側サンプルであり、ウェブ全体の調査ではない；コンテンツの種類、言語構成、更新頻度のいずれも読み値に影響する。借用できるのは「方法」と「層別」である：自社のクローラーログを学習／引用／検索の3層に分け、言語と突き合わせれば、あなた自身の一枚の地図が得られる——たいてい直観とは違うものになる。

Can I apply these numbers directly to my own site? — No. This is a supply-side sample from a single Taiwan-Japan news content platform, not a web-wide census; our content type, language mix, and update frequency all shape the readings. What you can borrow is the method and the tiering: split your own crawler logs into training/citation/search tiers, then cross them with language, and you will get your own map — usually different from intuition.

なぜ「AI経由の実訪問（人間）」はrefererだけを数えるのか。過小評価にならないか。

必ず過小評価になる。だからこそ我々は、意図的に「下限」と表記している。大半のAIサービスはrefererを送らないため、AIからクリックして来た人がいても、ブラウザはどこから来たかを我々に伝えない。したがって277という数字は過小にはなり得ても、過大にはなり得ない。推計値で数字を飾るより、保守的な下限を報告する方を我々は選ぶ。

なぜ「AI経由の実訪問（人間）」はrefererだけを数えるのか。過小評価にならないか。 — 必ず過小評価になる。だからこそ我々は、意図的に「下限」と表記している。大半のAIサービスはrefererを送らないため、AIからクリックして来た人がいても、ブラウザはどこから来たかを我々に伝えない。したがって277という数字は過小にはなり得ても、過大にはなり得ない。推計値で数字を飾るより、保守的な下限を報告する方を我々は選ぶ。

Why do your "human referrals" count only referers? Doesn't that underestimate? — It certainly underestimates, and we deliberately label it a lower bound. Most AI services send no referer, meaning someone clicks through from AI and the browser never tells us where they came from. So the number 277 can only be underestimated, never overestimated. We would rather report a conservative lower bound than dress the figure up with an estimate.

このランキングはどのくらいで古くなるのか。

思うより速い。同じコンテンツで、我々の前後2回の計測の間（25日間）に、引用型取得における日本語のリード幅は14.7ポイントから1.9ポイントまで縮んだ。「AIは某プラットフォーム／某言語を好む」といういかなる順位付けも、日付を明記し、継続的に再計測しなければならない——本稿も含めてである。

このランキングはどのくらいで古くなるのか。 — 思うより速い。同じコンテンツで、我々の前後2回の計測の間（25日間）に、引用型取得における日本語のリード幅は14.7ポイントから1.9ポイントまで縮んだ。「AIは某プラットフォーム／某言語を好む」といういかなる順位付けも、日付を明記し、継続的に再計測しなければならない——本稿も含めてである。

How soon will these rankings expire? — Sooner than you think. On the same content, between our two measurements (25 days), Japanese's lead in citation-type fetches shrank from 14.7 percentage points to 1.9 percentage points. Any ranking of "AI prefers such-and-such platform / such-and-such language" must carry a date and be re-measured continuously — including this article.

あなた方自身の中国語実訪問はわずか3.3%だが、そのようなデータは信頼できるのか。

我々自身に不利だからこそ、なおさらそのまま公表すべきなのである。この数字が測っているのは「本プラットフォームの中国語ページがこのウィンドウで得た、識別可能なAI経由実訪問のシェア」であり、「中国語コンテンツのウェブ全体での引用率」でも、何らかのサービス介入後の成果でもない。これは診断のベースラインである——診断結果が悪いことこそ、動くべき理由である。

あなた方自身の中国語実訪問はわずか3.3%だが、そのようなデータは信頼できるのか。 — 我々自身に不利だからこそ、なおさらそのまま公表すべきなのである。この数字が測っているのは「本プラットフォームの中国語ページがこのウィンドウで得た、識別可能なAI経由実訪問のシェア」であり、「中国語コンテンツのウェブ全体での引用率」でも、何らかのサービス介入後の成果でもない。これは診断のベースラインである——診断結果が悪いことこそ、動くべき理由である。

Your own Chinese referrals are only 3.3% — is data like this credible? — Precisely because it is unflattering to ourselves, we are all the more obliged to publish it as is. This figure measures "the identifiable AI referral share obtained by this platform's Chinese pages in this window" — not "the citation rate of Chinese content across the web," nor the outcome after any service intervention. It is a diagnostic baseline — and an ugly diagnosis is exactly the reason to act.

これらのデータを引用してよいか。

引用・転載を歓迎する。記事タイトル・原URL・IDAEO.AIを完全に明記し、データ基準日2026-07-12を併記されたい。再実行して検証したい場合は、完全な集計方法も提供する——[email protected] 宛に請求されたい。

これらのデータを引用してよいか。 — 引用・転載を歓迎する。記事タイトル・原URL・IDAEO.AIを完全に明記し、データ基準日2026-07-12を併記されたい。再実行して検証したい場合は、完全な集計方法も提供する——[email protected] 宛に請求されたい。

May I cite these numbers? — Citation and republication are welcome; please credit the article title, the original URL, and IDAEO.AI in full, and mark the data cutoff 2026-07-12. If you want to re-run the verification, we also provide the full data-extraction method — write to [email protected] to request it.