看不见的读者：12 只 AI 爬虫现形

先问一个问题：今天有人想找你卖的东西——一家餐厅、一间民宿、一个顾问服务——他会打开搜索引擎慢慢比，还是直接问 AI“帮我推荐”？越来越多人选了后者。AI 直接给答案，顺便报几个名字、附几条链接；被报到名字的，客人就上门；没被报到的，连被比较的资格都没有。这就是为什么我们说：AI 时代的能见度，是一条新的营销通路。

这篇文章不谈理论。我们把自己网站五个月的服务器记录摊开——三十几只 AI 爬虫、约 3,000 万次内容搬运——一只一只拆开看：谁来了、来拿什么、多久来一次、会不会带客人回来（五个月共见三十几只，本文细讲其中 12 只）。所有数字都出自我们自己服务器的记录（服务器记录实测），不是估计值；完整观测报告的正本发布于 km.idaeo.ai。

先定义一个贯穿全文的关键词。本文说的“AI 声量”，就是 AI 爬虫对你网站发出的请求：谁来、来几次、拿什么——每一次请求都被服务器记下来，可以数、可以验。下面整篇文章，就是把这 3,000 万次请求拆开来读。

先认识一位新访客：AI 爬虫

“爬虫”听起来很技术，其实角色很好懂：它是 AI 公司派出来的机器访客，工作就是上门把你网站的内容抄回去。想象外卖平台派业务员到你的餐厅抄菜单——他不点餐、不消费，只抄资料，让平台之后有办法介绍你。AI 爬虫做的就是这件事，只是抄回去的用途不同：有的拿去教 AI、有的收进推荐名单、有的是替某位正在提问的真人跑腿。

第一课：AI 没读过你，就永远不会推荐你

没有爬虫的请求，就没有引用；没有引用，就没有真人流量。

翻成白话：AI 开口推荐你之前，一定先“读过你”——对你的网页发出过至少一次请求（可以想成敲一次门、翻一次你的资料）。可能是它自己来抄的，也可能是别人（像 Common Crawl 这种公共数据库）抄走之后它拿去用的。没有那一次请求，你在 AI 的世界里不是排名低，是根本不存在——像一家没被任何指南、任何平台收录的店，菜再好也没人报。

但这只是入场券，不是保证，三件事必须诚实讲：

• 被读取 ≠ 被引用。业务员抄了菜单，平台不一定马上推荐你。我们实测的转化率大约 10–12%（来源：历史引用对账；此为约数、无精确分母，是可观测范围的对账值，AI 不附链接的零点击引用不在内；口径见方法论页）。
• 被引用 ≠ 有人点进来。AI 常把答案直接讲完、不附链接——这叫“零点击”，发生时我们什么都收不到。
• 有人来 ≠ 我们看得见。手机 App 内的点击常不带来源标记，我们量到的 476 次（实测）是可观测的下界，真实数字一定更高。

所以顺序只有一种：先确保被读到，再提高每次被读的转化。

三种访客，三种未来

从记录里，爬虫清楚分成三类，而且只有后两类会带人回来：

• 训练型（GPTBot、ClaudeBot、Meta AI 等）：像百科全书的编辑，把你的内容收回去写进 AI 的“脑子”。几个月后才见效、不注明出处、不带客人——但 AI 记不记得你，靠的是它。先正名：它不是来“拿走”什么——它在替 AI 的知识库选材，被选进去，你的内容就成为 AI 常识的一部分。在整个 AI 爬虫技术里，这是最基础、也最重要的一层。
• 索引型（OAI-SearchBot、Bingbot、Applebot 等）：像旅游指南的调查员，把你的页面收进答案引擎随时翻查的数据库（这个数据库就叫“索引”）。数小时到数周见效、会附引用链接——客人就是从这里来的。
• 真人代抓（ChatGPT-User 等）：真人此刻正在 AI 里读你的页面，AI 代他去取，几秒钟见效。像客人已经坐在店里，请服务员把菜单念给他听。它出现，代表前面两步都做对了。

一句话记住：想要客人，喂索引型；想被长期记得，喂训练型；看到真人代抓，代表前两步都做对了。

发现一：把内容做好，感动的是人，不是机器

我们原本以为“内容做好，爬虫会更爱爬”。实测结果是：机器来者不拒，人才挑。抄菜单的业务员不管你的菜好不好吃，照单全抄；真正坐下来吃的客人才会挑。两条完全独立的量法，指向同一个方向（皆实测）：

• ChatGPT 真人代抓读人工深卡 4.7 次/页、自动页 2.5 次/页，差 1.9 倍。
• 质量分级 green 对 red，真人代抓 3.14 对 1.39，差 2.26 倍。
• 同一组测试换成机器爬虫 ClaudeBot：green 2.56、red 2.62，持平，red 还略高。

意思是：做好内容不会让机器多爬你，但会让真人到了之后更常读你、更常被 AI 挑出来给人看。所以内容投资的回报，要在“被引用、带人来”那一端验收，不要用爬虫量验收。

发现二：最能带客的访客，来得最慢

发布一篇新内容之后，各家多久第一次来看（中位数，实测）：

• ClaudeBot（训练型）：4.2 小时
• GPTBot（训练型）：21.8 小时
• OAI-SearchBot（索引型）：332.8 小时（13.9 天）
• Bingbot（索引型）：374.6 小时（15.6 天）

新菜上市，抄菜单的当天就到，指南调查员却要两个星期后才来——中间这两周，你辛苦做的新内容先被拿去训练，还不在任何能带客的名单上。这就是损失。而且统计窗口只有 30 天，太晚发布的内容根本来不及等到慢的爬虫，慢的被系统性低估——真实差距只会比数字更大。

好消息是，这条有解，而且抓手就在你自己手上：

• sitemap：贴在店门口的“完整菜单目录”，让访客一眼知道店里有哪些页。Bingbot 是重度依赖者，30 天抓了 32,993 次（服务器记录实测；姊妹篇统计窗为 33,155，差异来自统计时点）。
• llms.txt：专门写给 AI 看的店家导览手册。Amazonbot 和 GPTBot 重度消费它。
• IndexNow：上了新菜就主动按铃通知，不干等人上门。

推这三样，是对“最慢、却最能带客”的索引型爬虫最直接的加速杠杆。诚实说：这是从“它们吃什么”推出来的合理下一步；部署前后的对照实验我们还没做，做完会再报。

一次查证：“我一做大改版，它们就来了”是真的吗？

站方长期有个感觉：每次做大整合，爬虫就蜂拥而至。我们翻出数据库记录查证，答案比是非题有意思。

时间顺序是真的。2026-05-23，我们一天之内建了 550,807 笔 llms 摘要（实测；5/23＝550,807、5/24＝11,678，其余日子都只有几千）。九天后的 6/01，三家爬虫同时开机——ClaudeBot 五月整月只来 669 次，6/01 跳到 53,468、6/02 再跳到 354,414；GPTBot、Meta 同一天一起动（实测）。“月初排程”这个替代解释也被排除：4/01 只有 92 次、5/01 只有 464 次，只有 6/01 爆掉，不是月历效应（实测）。

但“为什么来”，数据分不出来。因为那次动作同时做了两件事：让内容变好，以及一口气开出 55 万个新网址（robots.txt 查证过没动——我们不是把门打开，而是把看得见的表面积一次放大好几倍）。就像同一天你重新装修、又把一间店扩成一整条街，隔周人潮爆满——你说不出客人是为装修来的，还是为新店面来的。要分辨，得做一次干净实验：只改好既有页面的质量、完全不新增任何网址，再看爬虫反应。这种事件我们的记录里一次都没有——这是下一次该刻意做的事。

主角登场：五只值得认识的爬虫

OAI-SearchBot——挑剔的指南调查员，全案最重要

量小（全史 28.9 万次）但含金量最高：ChatGPT 引用过的网址，85.6% 在它的爬取集里（实测）——它挑什么，ChatGPT 就引什么（这是共现统计；也可能两者刚好偏好同一类页面，因果未证）。它也是全场对质量最敏感的机器爬虫（green 5.94 对 red 3.54，实测）。致命弱点是慢：新内容要 332.8 小时（13.9 天）才来。它慢，就是我们的损失——加速它是第一优先。

ClaudeBot——大胃王，来得快、吃得多、不带客

总量冠军（全史 644 万次），吃相是阵发式：平常日量中位数只有 97 次，单日最高 354,414 次（实测）——平时不见人影，一来就把整桌扫光。新内容反应最快（中位数 4.2 小时），但对质量完全无感，而且全史只带回 8 次真人（实测）。把它当长期存在感的投资，别当业绩。

Bingbot——每天巡店的老派调查员

最稳定的心跳，天天来、量稳定（实测）。看 sitemap 吃饭：30 天抓了 32,993 次，全场第一。反应最慢：374.6 小时（15.6 天）才到。但它喂的 Copilot 是我们第二大回流来源（66 次，13.9%，实测）。推 sitemap、IndexNow 对它最有效。

Applebot——神秘大户：这种爬法，背后一定有事

7 月最大户（30 天 484.7 万次，实测），但目前零次可辨识的引用点击（Siri 端多为零点击）。它的行为模式很特别：几乎不用 AI 训练旗标（Applebot-Extended 五个月只出现 2 次，实测）、几乎不看 sitemap 与 llms.txt——就是安静、大量、持续地把内容读走。

编辑观察（非实测，是判断）：一种可能的解读是它在为一个还没亮相的产品做准备——新版 Siri？新的搜索？另一种是我们品牌迁移触发的重爬（见诚实账）——两种都成立前，我们只观察不下注。所以对它的策略是：不特别投资、保持全开放让它读，然后每周盯着它。另注：此量含对旧网址的 301 转址请求（方法论页第二笔更正），应读作请求量、非内容抓取量。

ChatGPT-User——已经坐在店里的客人

真人代抓的代表：高峰落在日本时间上午 10 点，有明显的人类作息（实测）。它出现＝有人此刻正在读你，不是未来的流量，是现在进行式。它是成功的信号灯，不是要优化的对象。

其他角色——每一只都有来意

派爬虫是要成本的，每一只上门都有目的。逐一讲清楚：

• GPTBot（OpenAI・训练型主力）：目的是把内容收进 GPT 系列模型的知识底料。靠 llms.txt 吃饭（30 天抓 7,873 次，实测；8,618 为全部爬虫对 llms.txt 的合计，口径不同），喂饱 llms.txt 就是喂饱它。它不带客，但 ChatGPT 记不记得你，大半靠它。
• PerplexityBot（Perplexity・索引型）：目的是建 Perplexity 答案引擎的索引。小而精（全史 5.9 万次），却给了我们深卡史上第一次真引用（7/08，实测）——按“每次读取换到多少引用”算，它排最前面。
• Amazonbot（Amazon・索引型）：目的是喂 Alexa 与 Rufus 购物助理的检索生态。安静稳定、天天来，llms.txt 消费比例全场最高——对它，llms.txt 特别有效。
• Google 系（混并标签）：“Google AI”217 万次其实是 GoogleOther 与 Google-Extended 两种标签的合并计数——两种标签各自对应不同用途，但在我们的账上混在一起。拆开之前，任何关于 Google 的结论都先搁置。
• CCBot（Common Crawl・公共语料）：目的最特别——它替全世界建公共语料库，是全球开源模型共用的水源。washinmura.jp 已被收进 2026 年 6 月版公共语料（1,515 笔，实测）；进了它，等于同时进了所有喝这口水的模型。
• Bytespider（字节跳动・训练型）：目的是字节系 AI 产品的训练语料。全史 7.8 万次、明显偏中文——主战场在中文生态，我们的台日内容是顺手带走。

诚实账：这份记录的边界

营销文更要把界线讲清楚，因为诚实正是我们想给你的东西：

• n=1：这是一个站的样本、五个月的快照，不保证是这些爬虫的普遍行为，更不是定律。
• 有些“个性”是我们自己造成的：Applebot 的爆量起点恰好是品牌迁移隔天；Amazonbot 的高量含有掉进垃圾路径黑洞的放大成分。那是我们的架构在说话，不是它的性格。
• Google 系无法归因：“Google AI”是两种标签的合并计数，任何基于它的结论都建立在混并数字上。
• 六月的页面级证据已灭失：URL 明细只保留 30 天，那一波只剩每日总数，“六月它们究竟爬了哪些页”的说法都不该下。
• 质量分级（green／yellow／red）是站内自定的三级标签，分级标准未在本文公开。
• 质量检定有曝光偏误：“内容好”和“页数多”在数据里高度相关（相关系数 0.86，实测），无法完全分离。
• 转化率约一成出自历史引用对账，是可观测口径的约数，非精确逐笔追踪；首访时间只给中位数，未附样本数与分布。
• 零点击与转载看不见：AI 把内容讲完不给链接、或他站转贴，都不会在服务器留下痕迹。这是结构性盲区，不是我们没查。

带得走的三件事

1. AI 能见度是一条真实存在的新通路，起点是“先被读到”：把 sitemap、llms.txt、IndexNow 做起来，让最能带客的爬虫更快找到你。
2. 好内容的回报在“人”那一层验收：看引用与导流，不看爬虫量——机器来者不拒，人才挑。
3. 别被大数字骗：量最大的不一定带客，会带客的往往又小又慢。把力气花在对的那几只身上。

最后说句实话：没有人能保证你的内容一定被 AI 引用——我们自己实测的转化率也只有约一成。但反面是确定的：没被读过的内容，永远不会出现在 AI 的答案里。AI 时代的营销，就从让 AI 看得见你开始。

引用本文：IDAEO（2026）。《看不见的读者：12 只 AI 爬虫现形》。km.idaeo.ai/ai/ai-crawler-marketing。数据截止 2026-07-24（全史窗自 2026-03-03 起），来源：本站服务器记录实测；完整正本：km.idaeo.ai/reports/ai-crawler-profiles-20260724。