网站没被 ChatGPT 引用？我们自己差点误判的七步排查实录

限制先讲

• 我们的自建仪器 2026-08-10 07:52 UTC 才开机，样本非常年轻。仪器内的数字，只代表开机之后的世界。
• 边缘对账用的是 Cloudflare GraphQL 的 72 小时窗。窗外的事，这次没看。
• 这是单一网站的实录，不是产业统计。清单可以套用，数字不能外推。
• sitemap 返回 204 是“受理”，不是“已收录”。IndexNow 的 200/202 同样只是收件回执。

一个 0，差点写进报告

事情从一个 0 开始。

我们给自家网站建了一套 origin 仪器，记录每一笔爬虫到访。打开一看：OAI-SearchBot——OpenAI 给 ChatGPT 搜索做索引的爬虫——0 次。

第一反应很自然：“OpenAI 根本没来过，难怪 ChatGPT 不引用我们。”这句话差一点写进正式报告。

还好我们多做了一步：去 Cloudflare 边缘拉 GraphQL 的 72 小时真值对账。结果完全翻案——

• OAI-SearchBot：5 次，全部 200（成功取走内容）
• GPTBot：10 次
• Claude 系：6 次（ClaudeBot 1＋Claude-User 2＋anthropic 3）
• Amazonbot：151 次
• meta-external：423 次

人家不但来过，还每次都拿到了东西。那个 0 是怎么回事？答案很不体面：仪器 08-10 才开机，OAI-SearchBot 的到访发生在开机之前。

打个比方：你半夜才装好门口的摄像头，第二天早上看回放，然后宣布“邮递员从来没来过我们家”。摄像头没坏，是你的观测窗太短。

事后回想，这种错特别容易犯，原因很讽刺：仪器是我们自己建的，所以我们最信任它。越是自己亲手做的工具，越容易忘记先问一句：“它是从什么时候开始看的？”

误判的代价也不便宜。如果那句“OpenAI 没来过”真的写进报告，接下来的药方全会开错：去改内容、去调标题、去怪算法——而真正的问题，其实出在我们自己读错了仪表盘。

这次差点误判，逼我们把整套流程写成清单。以下七步，是我们自己走过、每步都有实跑证据的版本。顺序有讲究：由外而内、由便宜到昂贵，前面的步骤不过关，后面的结论都不成立。

七步排查清单

第一步：robots.txt 有没有把人挡在门外。 最便宜的检查最先做。打开 robots.txt，逐行看有没有 Disallow 到 AI 爬虫。要逐字读，不要瞄过去：挡的是谁、挡到哪个路径、有没有整站全挡。这一步我们过了。但很多网站在这里就出局——多年前请人建站时留下的一行设置，等于自己贴了“谢绝推销”，再抱怨没人上门。

第二步：CDN／边缘有没有替你挡。实查设置，不要用猜的。 就算 robots.txt 开门，CDN 可能在你不知道的地方关门。近年各家 CDN 陆续推出“AI 爬虫防护”类功能，有的默认值会随版本改变，有的是托管商好意帮你打开的——你自己完全不知情。我们实查 Cloudflare 设置：ai_bots_protection=disabled、crawler_protection=disabled、没有 WAF 拦截规则——门全开。重点不是我们的结果，是方法：这一步必须打开设置页或打 API 实查。“我记得没开”不算证据。

第三步：边缘 vs 自家仪器对账。时间窗陷阱就在这。 这是我们摔跤的那一步。同一个网站，origin 仪器说 0，边缘说 5 次全 200。没有谁说谎——它们量的是不同时间、不同位置。实务做法：对账之前，先把“我的仪器几点开机”“边缘的查询窗多长”白纸黑字写下来，再去拉数字。这些“窗”没先写下来，任何比较都是错的；写下来之后，多半连对账都不用做，你就先看见自己的洞。

第四步：索引层查证。爬过，不等于认识你。 爬虫来过，只代表内容被搬走；搜索引擎的索引认不认识你，是另一本账。这就像书店：有人进店翻过书，和这本书有没有登进图书馆的总目录，是不相干的事。我们拿三页去 Google Search Console 做 URL inspection，三页全部回“URL is unknown to Google”。也就是说，在 Google 的索引层，我们等于不存在——和爬虫有没有来，得分开查。

第五步：sitemap 是不是“真的”提交过。 再往下挖，更不体面的真相：整个域名在 GSC 的 sitemap 清单＝0 张，从来没提交过。对应的结果是 28 天曝光 0 次。我们一直以为“上线了就会被看见”，事实是我们从来没去柜台报到。这里的关键词是“真的”：不要问记忆，去后台把提交清单打开看。修复当天做完：六张 sitemap 提交，全部回 204 受理；IndexNow 也发了，回 200/202。再提醒：受理是收件，不是收录。

第六步：外部提及量。别人有没有谈论你。 AI 引用不只看你家门口的路通不通，也看外面有没有人提到你。别人的文章有没有链接过来、行业名录有没有收录你、社群里有没有人谈起你——这些都是 AI 判断“这个来源值不值得引”的旁证。这一步在本次窗内我们没有新数字，只有前作账本的定性提醒：五个月 roughly 30 million 次爬取，只对应 476 次真人点击（可见下限）（https://km.idaeo.ai/ai/ai-crawler-shop-ledger）。被搬走很多，不代表被谈论、被引用。

第七步：定期探测复测。一次排查只是一张快照。 排查不是做完就结案。索引型爬虫的节奏以周计：前作实测，训练型的 ClaudeBot 首爬中位数 4.2 小时，索引型的 OAI-SearchBot 却要 332.8 小时（13.9 天）（https://km.idaeo.ai/ai/ai-crawler-marketing）。你今天修好门，最慢的访客要以“周”为单位才会再路过。复测排程要配合这种节奏：定好固定的复查日，到点就重跑同一套检查，把结果留档，让下次的自己有得比对——而不是第二天没动静就掀桌。

核心教训

量测工具的窗，决定你看见的世界。

仪器上的 0，只证明“仪器开机以后、它的窗内没看到”，不证明“世界上没发生”。边缘看到的、仪器看到的、索引认得的，各是各的账，要分开对。

我们差点用一个 0 说服自己“OpenAI 没来过”。真正该说的是：“在我们的窗内没看到；窗外的事，去边缘查。”这句话比较长，但它才是真的。

所以，下次你想抱怨“AI 都不引用我”之前，先照这份清单走一遍：门有没有自己关上、量测的窗开了多久、柜台报到了没。多数时候，答案不在算法的黑箱里，而在自己家的仪表盘上。