km.idaeo.ai · IDAEO 知識庫

🏛 本文属于主题馆「ai」

AI 爬虫流量是声量:3,000 万次,带来 476 次真人点击

把网站当成一家店:五个月里,AI 公司天天来搬货,账本记了约 3,000 万次;循着 AI 介绍真正上门的,只有 476 次真人点击。哪些搬货的值得招待、哪些只是载走不回头?我们用自家两个网站的第一手伺服器账本,拆给所有店主看。

想象你在路口开了一家店。过去五个月,世界上最大的几家 AI 公司天天派人上门——不是来买东西,是来搬货。

我们的两个网站(日本的 washinmura.jp 和做 AI 引用的 idaeo.ai)就是这家店。翻开自家账本:货被搬走了约 3,000 万次;循着 AI 的介绍真正上门的真人,476 次。

大多数店主看到第一个数字会高兴,看到第二个会心碎。我们想说的是:两个数字都别急着下结论。这五个月教会我们的第一件事,是先学会分账

巨大的约 3,000 万次搬货压过角落的 476 次真人点击;其中 88.7% 来自 ChatGPT+Copilot,按真实比例,476 的长条不足一个像素。
爬虫搬货是声量,不等于真人流量;两者量级悬殊,且可观测点击高度集中。

第一课:上门的有三种人,只有两种会带客人来

来搬货的都是「爬虫」——各家公司派来自动读网页的程式。你可以把他们想成三种完全不同的访客:

  • 大厂采购(训练用爬虫,如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot):整车把货载回工厂,揉进他们的产品。这听起来像白搬,其实是整个故事的地基——AI 就是这样认识你的。几个月后,全世界的 AI 谈起你这一行,答案里有你的配方:不挂你的牌子,但你已经在里面。
  • 指南编辑(搜寻索引爬虫,如 OAI-SearchBot、微软的 Bingbot、苹果的 Applebot):把你的店写进美食指南。之后有客人问「附近哪家好」,指南会报你的名字、附上你的地址——这种访客才会带客人来。
  • 外送员(真人代抓,如 ChatGPT-User):有客人此刻就想吃你家的东西,AI 当场派人来取。这不是未来式——它是你的内容「正在被真人阅读」的即时证据。

搬走最多的是采购——他们在打地基;把你的地址发给客人的,是编辑和外送员。先把一件事讲清楚:训练爬虫不直接带客,不代表它不重要——它是所有 AI 流量的底层。你的内容被搬进模型,AI 才认识你;AI 认识你,指南才会收你、客人才问得到你。老实说,「训练带动日后引用」这条因果,我们的账本量不到——它是基于机制的推断。但账上有三个实测讯号指向同一方向:开站第一个月,最早上门的就是训练爬虫;它抓起来广度优先、三种语言抓得最均衡——像在建立对你的完整认知,不是挑内容;它抓走的货还会流进公共训练水源,变成未来每个新模型的一部分。地基不直接卖钱,但没有地基,楼都不用盖。三种人都重要,账却要分开记:把三种人记在同一本账上,是我们看过最多店主犯的第一个错。

三条错开的路径通向同一店门:大厂采购(训练用,GPTBot・ClaudeBot)、指南编辑(搜索索引,OAI-SearchBot・Bingbot・Applebot)与外送员(真人代抓,ChatGPT-User);分别在数月后不挂牌、数周后附地址、数秒后供真人阅读;判定为打地基/会带客/会带客。搬最多的在打地基,发地址的是编辑和外送员。
训练爬虫搬运最多、为 AI 世界打地基;搜索索引与真人代抓则把地址或读者带回来。
OpenAI 三只爬虫的分工与爬虫量:GPTBot(训练)562 万、OAI-SearchBot(搜索索引)28.9 万、ChatGPT-User(真人代抓)24.2 万;量最大的在打地基,量小的两层在发地址。
三个圆按爬虫量同比例比较并列分工,不是先后流程或转化漏斗;GPTBot 打地基,OAI-SearchBot 与 ChatGPT-User 发地址。

第二课:搬得最凶的,不是带客人最多的

五个月里搬得最凶的四家:Anthropic 644 万、OpenAI 562 万、Apple 500 万、Microsoft 472 万。但「带客人」的账完全是另一回事:把客人引上门的介绍,有 88.7% 集中在 ChatGPT+Copilot 这一系(那 476 次里,ChatGPT 占 356、Copilot 占 66)。

Apple 是最好的反例。我们品牌搬家的隔天,它派来的人突然从每天几百次暴增到二十几万次——我们推断是搬家触发的重新盘点——但搬了这么多,至今一个可辨识的客人也没带来。

记住这句:搬货量是声量,不是业绩——但声量是地基,别把地基当浪费。评价要分两本账:地基的价值是「AI 认识你」,业绩的账才看带客。

四笔搬货记录散成非对称清单:ClaudeBot(Anthropic)644 万、GPTBot(OpenAI)562 万、Applebot(Apple)500 万、Bingbot(Microsoft)472 万;搬货量是声量,不是业绩——但这些量,是你在 AI 世界的地基。
搬货量是声量而非业绩,但高量抓取正是网站在 AI 世界积累可见度的地基。
476 次真人点击按带宽同比例分成五股:ChatGPT 356、Copilot 66、Gemini 29、Perplexity 17、Claude 8;前两者占 88.7%,Gemini 可能被低估,476 是可见下界。
真人带客高度集中在 ChatGPT 与 Copilot;Gemini 混在一般搜索里,观测值可能被低估。

第三课:好货的回报,先出现在「人」的账上

这是最反直觉的一课。我们比对自家的货色:在我们的账上,人工深度文章被 ChatGPT 的外送员取货 4.7 次/页;自动生成的页面只有 2.5 次/页——人那一端,分得出好坏。(这组是当时窗口的观察值:样本数没有随统计存档、明细已依保留政策删除,无法重建——这笔账的限制,我们完整写在方法论页。)可是大厂采购分不太出来——搬货总量冠军那家,对品质几乎无感。

老实说两句:这只是「好货与人多」同时出现,还不敢说是因果——我们的好内容通常页数也多,两件事还没完全拆开。我们也翻掉过自己的结论:曾把引用集中度算错口径、曾怀疑 Apple 那波暴增是统计假象,交叉重验后一一修正。这本账是一家店五个月的快照,不是定律。

但方向很清楚:评估内容好不好,别看被搬几次,要看被人读几次。

ChatGPT 真人代抓中,人工深度文章 4.7 次/页,自动生成页 2.5 次/页;同时出现,还不能断言因果。
人工深度文章每页 4.7 次,自动生成页每页 2.5 次;这是 ChatGPT 真人代抓的观测关联,不能据此判定内容形式造成差异。

第四课:最值得等的客人,来得最慢

新货上架后,大厂采购 4.2 小时就到;会把你写进指南的编辑,中位数要 332.8 小时——将近两个星期才来(这是以新页面发布后第一次被爬到的时间计;来得更慢、还没到的,账上还看不见)。打地基的先到,发地址的最晚来。所以别在上架三天没动静就砸了招牌:地基第一天就开始打,指南的回报是以周计算的。

而且这些上门的各有各的读法:有的专读你贴在门口的「本店简介」——llms.txt,一份写给 AI 看的网站说明档,近一个月被读了 8,618 次;有的只翻你的「货架清单」——sitemap,全站页面的目录,微软近一个月翻了 33,155 次。两份都要写好,别指望一把钥匙开所有的门。

两枚到货戳分居画面两角:大厂采购 4.2 小时先到,指南编辑中位数 332.8 小时、近两周才到;打地基的先到,发地址的最晚来;从新页首次被抓取起算。
最早抵达的训练型访客在打地基;会附地址的索引型访客反而最晚到。
两把钥匙的长度按读取量同比例:短蓝钥匙 llms.txt(门口简介)30 天被读 8,618 次,长橙钥匙 sitemap(货架清单)被读 33,155 次。
llms.txt 负责门口简介,sitemap 负责货架清单;两者都被读,但 sitemap 次数更高。

账本怎么记的(资料口径)

先交代账本本身,免得你把专栏当论文读:统计期间 2026-03-03 到 2026-07-24,资料是我们两个网站自己的伺服器纪录,不是第三方估计。搬货的身分我们逐一验过——把来访程式的来源位址反查登记名下、比对各公司官方公布的网段,确认是本尊不是冒牌。那 476 次全部来自「看得到来路」的网页版点击,并已剔除我们自家的测试流量。最后老实说:这是一家店(两个网站)五个月的第一手账,样本就是我们自己——它是诚实的个案观察,不是全行业的定律。同一批账本先前拆过两堂课:语言那一课信任那一课,这篇是把五个月全历史一次结清。

爬虫量依次为 3 月 73.7 万、4 月 162.7 万、5 月 170.4 万、6 月(前 22 天)1,100.6 万、6/23〜7/24(30 天)1,477.8 万;前三个月是安静期,然后闸门开了。
3 月至 5 月相对平静,之后爬虫量陡升,并以 6/23〜7/24(30 天)最高。

账本的三行小字

下结论前,有三行小字要念给你听:那 476 次是「看得到的下界」——手机 App 里的点击不留来路,AI 直接把答案讲完的「零点击」回答更不会上门,账上看得到的只是实际被读的一小部分。Google 系带来的客人分不出来——他们混在一般搜寻的人流里。还有,被搬不等于被介绍——被搬走的货,最后真被指南写进去的只是少数。

最后:把招牌挂对

分完账,行动反而简单:写好门口简介、摆好货架清单、盯引用端而不是搬货量——然后,挂上英文招牌。我们店里中文的货其实摆得最多,但 AI 引路的落点 67.2% 是英文、中文只有 3.2%;不是你中文写得不好——在我们的账上,指南编辑挑去建档的内容,英文就已经占 42.9%,偏差从那一层就开始。中文写给客人读,英文写给指南收。这件事有多现实,可以看我们对全台牙医官网的普查:内容不是写给 AI 拿得动的样子,写再多也进不了指南。

英语 67.2% 与日语 28.2% 退为灰色背景,聚光灯突出最小的中文 3.2%;索引层英语另占 42.9%,而店内中文供给最多。
英语引用占比最高、中文最低;索引层与引用层是不同分母,不能直接相减。

AI 天天在读你的店,但「被读」与「被介绍」是两件事。让 AI 介绍你的时候说得对、附上你的地址——这正是我们在 idaeo.ai 做的事。

FAQ

被 AI 爬得越多,生意越好吗?
不一定直接变好,但绝不是白搬。搬最多的是训练用途——它是 AI 认识你的地基;直接带客的是指南编辑与外送员。先分账,再评价,两头都要顾。
AIにたくさんクロールされるほど、商売は良くなりますか?直接良くなるとは限りませんが、決してタダ働きの持ち出しではありません。いちばん多く運ぶのは訓練用途——AIがあなたを知るための土台です。直接客を連れてくるのはガイドの編集者と配達員。まず帳簿を分けてから評価し、両方の面倒を見てください。
Does more AI crawling mean better business?Not directly, but it is never hauling for nothing. The heaviest hauling is for training — it is the foundation of AI getting to know you; the ones who bring customers directly are the guide editors and couriers. Separate the ledgers, then judge — and tend to both ends.
内容写得好,AI 会更常来搬吗?
大厂采购那端几乎无感(指南编辑反而挑);差别最明显的在真人那端——深度文章被人读得多。目前是同时出现,还不能断言因果。
内容が良ければ、AIはもっと頻繁に来ますか?大手の仕入れ側はほぼ無関心(ガイドの編集者はむしろ選びます)。差がいちばん出るのは人間の側で、深掘り記事ほど読まれます。現時点では同時に起きているだけで、因果とは断定できません。
If my content is good, will AI crawl it more often?The bulk buyers barely notice (guide editors are pickier); the clearest gap is on the human end — in-depth articles get read more. For now this is co-occurrence, not proven causation.
llms.txt 和 sitemap 要都做吗?
要。不同爬虫入口不同:有的读门口简介,有的翻货架清单,不是同一把钥匙,两份都要维护。
llms.txt と sitemap は両方必要ですか?必要です。クローラーごとに入口が違います。店の案内を読む者もいれば、棚卸しリストをめくる者もいる。同じ鍵ではないので、両方を整備してください。
Do I need both llms.txt and a sitemap?Yes. Different crawlers use different doors: some read the shop brief, others flip through the shelf list. They are not one interchangeable key; maintain both.
为什么说 476 次只是下界?
App 内点击不留来路、零点击回答不上门、转载也不会回到店里。账上看得到的,只是实际被读的一小部分。
なぜ476回は下限にすぎないのですか?アプリ内クリックは経路を残さず、ゼロクリック回答は来店せず、転載は店に戻りません。帳簿に見えるのは、実際に読まれた量の一部だけです。
Why is 476 only a lower bound?In-app clicks leave no trail, zero-click answers never visit, and reposts don't come back to the shop. What the ledger shows is only a fraction of actual reading.
中文内容是不是白写了?
不是。中文写给你的客人读;要被 AI 引用,英文版才是主战场。两者目的不同,都要有。
中国語のコンテンツは無駄でしたか?いいえ。中国語はあなたの客のために書くもの。AIに引用されたいなら、英語版が主戦場です。目的が違うので、両方必要です。
Is writing in Chinese a waste?No. Chinese serves your customers; to be cited by AI, English is the main battlefield. Different purposes — you need both.

引用本文

TK Lin・《AI 爬虫流量是声量:3,000 万次,带来 476 次真人点击》・IDAEO 知識庫・2026-08-09・https://km.idaeo.ai/post/ai/ai-crawler-shop-ledger

更新于 2026-08-10

更新 2026-08-10T10:29:32.169Z · server-rendered · four-language · IDAEO 知識庫