看不見的讀者：12 隻 AI 爬蟲現形

先問一個問題：今天有人想找你賣的東西——一家餐廳、一間民宿、一個顧問服務——他會打開搜尋引擎慢慢比，還是直接問 AI「幫我推薦」？愈來愈多人選了後者。AI 直接給答案，順便報幾個名字、附幾條連結；被報到名字的，客人就上門；沒被報到的，連被比較的資格都沒有。這就是為什麼我們說：AI 時代的能見度，是一條新的行銷通路。

這篇文章不談理論。我們把自己網站五個月的伺服器紀錄攤開——三十幾隻 AI 爬蟲、約 3,000 萬次內容搬運——一隻一隻拆開看：誰來了、來拿什麼、多久來一次、會不會帶客人回來（五個月共見三十幾隻，本文細講其中 12 隻）。所有數字都出自我們自己伺服器的紀錄（伺服器紀錄實測），不是估計值；完整觀測報告的正本發布於 km.idaeo.ai。

先定義一個貫穿全文的關鍵詞。本文說的「AI 聲量」，就是 AI 爬蟲對你網站發出的請求：誰來、來幾次、拿什麼——每一次請求都被伺服器記下來，可以數、可以驗。下面整篇文章，就是把這 3,000 萬次請求拆開來讀。

先認識一位新訪客：AI 爬蟲

「爬蟲」聽起來很技術，其實角色很好懂：它是 AI 公司派出來的機器訪客，工作就是上門把你網站的內容抄回去。想像外送平台派業務員到你的餐廳抄菜單——他不點餐、不消費，只抄資料，讓平台之後有辦法介紹你。AI 爬蟲做的就是這件事，只是抄回去的用途不同：有的拿去教 AI、有的收進推薦名單、有的是替某位正在發問的真人跑腿。

第一課：AI 沒讀過你，就永遠不會推薦你

沒有爬蟲的請求，就沒有引用；沒有引用，就沒有真人流量。

翻成白話：AI 開口推薦你之前，一定先「讀過你」——對你的網頁發出過至少一次請求（可以想成敲一次門、翻一次你的資料）。可能是它自己來抄的，也可能是別人（像 Common Crawl 這種公共資料庫）抄走之後它拿去用的。沒有那一次請求，你在 AI 的世界裡不是排名低，是根本不存在——像一家沒被任何指南、任何平台收錄的店，菜再好也沒人報。

但這只是入場券，不是保證，三件事必須誠實講：

• 被讀取 ≠ 被引用。業務員抄了菜單，平台不一定馬上推薦你。我們實測的轉化率大約 10–12%（來源：歷史引用對帳；此為約數、無精確分母，是可觀測範圍的對帳值，AI 不附連結的零點擊引用不在內；口徑見方法論頁）。
• 被引用 ≠ 有人點進來。AI 常把答案直接講完、不附連結——這叫「零點擊」，發生時我們什麼都收不到。
• 有人來 ≠ 我們看得見。手機 App 內的點擊常不帶來源標記，我們量到的 476 次（實測）是可觀測的下界，真實數字一定更高。

所以順序只有一種：先確保被讀到，再提高每次被讀的轉化。

三種訪客，三種未來

從紀錄裡，爬蟲清楚分成三類，而且只有後兩類會帶人回來：

• 訓練型（GPTBot、ClaudeBot、Meta AI 等）：像百科全書的編輯，把你的內容收回去寫進 AI 的「腦子」。幾個月後才見效、不註明出處、不帶客人——但 AI 記不記得你，靠的是它。先正名：它不是來「拿走」什麼——它在替 AI 的知識庫選材，被選進去，你的內容就成為 AI 常識的一部分。在整個 AI 爬蟲技術裡，這是最基礎、也最重要的一層。
• 索引型（OAI-SearchBot、Bingbot、Applebot 等）：像旅遊指南的調查員，把你的頁面收進答案引擎隨時翻查的資料庫（這個資料庫就叫「索引」）。數小時到數週見效、會附引用連結——客人就是從這裡來的。
• 真人代抓（ChatGPT-User 等）：真人此刻正在 AI 裡讀你的頁面，AI 代他去取，幾秒鐘見效。像客人已經坐在店裡，請服務生把菜單唸給他聽。它出現，代表前面兩步都做對了。

一句話記住：想要客人，餵索引型；想被長期記得，餵訓練型；看到真人代抓，代表前兩步都做對了。

發現一：把內容做好，感動的是人，不是機器

我們原本以為「內容做好，爬蟲會更愛爬」。實測結果是：機器來者不拒，人才挑。抄菜單的業務員不管你的菜好不好吃，照單全抄；真正坐下來吃的客人才會挑。兩條完全獨立的量法，指向同一個方向（皆實測）：

• ChatGPT 真人代抓讀人工深卡 4.7 次/頁、自動頁 2.5 次/頁，差 1.9 倍。
• 品質分級 green 對 red，真人代抓 3.14 對 1.39，差 2.26 倍。
• 同一組測試換成機器爬蟲 ClaudeBot：green 2.56、red 2.62，持平，red 還略高。

意思是：做好內容不會讓機器多爬你，但會讓真人到了之後更常讀你、更常被 AI 挑出來給人看。所以內容投資的報酬，要在「被引用、帶人來」那一端驗收，不要用爬蟲量驗收。

發現二：最能帶客的訪客，來得最慢

發布一篇新內容之後，各家多久第一次來看（中位數，實測）：

• ClaudeBot（訓練型）：4.2 小時
• GPTBot（訓練型）：21.8 小時
• OAI-SearchBot（索引型）：332.8 小時（13.9 天）
• Bingbot（索引型）：374.6 小時（15.6 天）

新菜上市，抄菜單的當天就到，指南調查員卻要兩個星期後才來——中間這兩週，你辛苦做的新內容先被拿去訓練，還不在任何能帶客的名單上。這就是損失。而且統計窗只有 30 天，太晚發布的內容根本來不及等到慢的爬蟲，慢的被系統性低估——真實差距只會比數字更大。

好消息是，這條有解，而且把手就在你自己手上：

• sitemap：貼在店門口的「完整菜單目錄」，讓訪客一眼知道店裡有哪些頁。Bingbot 是重度依賴者，30 天抓了 32,993 次（伺服器紀錄實測；姊妹篇統計窗為 33,155，差異來自統計時點）。
• llms.txt：專門寫給 AI 看的店家導覽手冊。Amazonbot 和 GPTBot 重度消費它。
• IndexNow：上了新菜就主動按鈴通知，不乾等人上門。

推這三樣，是對「最慢、卻最能帶客」的索引型爬蟲最直接的加速槓桿。誠實說：這是從「它們吃什麼」推出來的合理下一步；部署前後的對照實驗我們還沒做，做完會再報。

一次查證：「我一做大改版，它們就來了」是真的嗎？

站方長期有個感覺：每次做大整合，爬蟲就蜂擁而至。我們翻出資料庫紀錄查證，答案比是非題有意思。

時間順序是真的。2026-05-23，我們一天之內建了 550,807 筆 llms 摘要（實測；5/23＝550,807、5/24＝11,678，其餘日子都只有幾千）。九天後的 6/01，三家爬蟲同時開機——ClaudeBot 五月整月只來 669 次，6/01 跳到 53,468、6/02 再跳到 354,414；GPTBot、Meta 同一天一起動（實測）。「月初排程」這個替代解釋也被排除：4/01 只有 92 次、5/01 只有 464 次，只有 6/01 爆掉，不是月曆效應（實測）。

但「為什麼來」，資料分不出來。因為那次動作同時做了兩件事：讓內容變好，以及一口氣開出 55 萬個新網址（robots.txt 查證過沒動——我們不是把門打開，而是把看得見的表面積一次放大好幾倍）。就像同一天你重新裝潢、又把一間店擴成一整條街，隔週人潮爆滿——你說不出客人是為裝潢來的，還是為新店面來的。要分辨，得做一次乾淨實驗：只改好既有頁面的品質、完全不新增任何網址，再看爬蟲反應。這種事件我們的紀錄裡一次都沒有——這是下一次該刻意做的事。

主角登場：五隻值得認識的爬蟲

OAI-SearchBot——挑剔的指南調查員，全案最重要

量小（全史 28.9 萬次）但含金量最高：ChatGPT 引用過的網址，85.6% 在它的爬取集裡（實測）——它挑什麼，ChatGPT 就引什麼（這是共現統計；也可能兩者剛好偏好同一類頁面，因果未證）。它也是全場對品質最敏感的機器爬蟲（green 5.94 對 red 3.54，實測）。致命弱點是慢：新內容要 332.8 小時（13.9 天）才來。它慢，就是我們的損失——加速它是第一優先。

ClaudeBot——大胃王，來得快、吃得多、不帶客

總量冠軍（全史 644 萬次），吃相是陣發式：平常日量中位數只有 97 次，單日最高 354,414 次（實測）——平時不見人影，一來就把整桌掃光。新內容反應最快（中位數 4.2 小時），但對品質完全無感，而且全史只帶回 8 次真人（實測）。把它當長期存在感的投資，別當業績。

Bingbot——每天巡店的老派調查員

最穩定的心跳，日日來、量穩定（實測）。看 sitemap 吃飯：30 天抓了 32,993 次，全場第一。反應最慢：374.6 小時（15.6 天）才到。但它餵的 Copilot 是我們第二大回流來源（66 次，13.9%，實測）。推 sitemap、IndexNow 對它最有效。

Applebot——神祕大戶：這種爬法，背後一定有事

7 月最大戶（30 天 484.7 萬次，實測），但目前零次可辨識的引用點擊（Siri 端多為零點擊）。它的行為模式很特別：幾乎不用 AI 訓練旗標（Applebot-Extended 五個月只出現 2 次，實測）、幾乎不看 sitemap 與 llms.txt——就是安靜、大量、持續地把內容讀走。

編輯觀察（非實測，是判斷）：一種可能的解讀是它在為一個還沒亮相的產品做準備——新版 Siri？新的搜尋？另一種是我們品牌遷移觸發的重爬（見誠實帳）——兩種都成立前，我們只觀察不下注。所以對它的策略是：不特別投資、保持全開放讓它讀，然後每週盯著它。另註：此量含對舊網址的 301 轉址請求（方法論頁第二筆更正），應讀作請求量、非內容抓取量。

ChatGPT-User——已經坐在店裡的客人

真人代抓的代表：高峰落在日本時間上午 10 點，有明顯的人類作息（實測）。它出現＝有人此刻正在讀你，不是未來的流量，是現在進行式。它是成功的訊號燈，不是要優化的對象。

其他角色——每一隻都有來意

派爬蟲是要成本的，每一隻上門都有目的。逐一講清楚：

• GPTBot（OpenAI・訓練型主力）：目的是把內容收進 GPT 系列模型的知識底料。靠 llms.txt 吃飯（30 天抓 7,873 次，實測；8,618 為全部爬蟲對 llms.txt 的合計，口徑不同），餵飽 llms.txt 就是餵飽它。它不帶客，但 ChatGPT 記不記得你，大半靠它。
• PerplexityBot（Perplexity・索引型）：目的是建 Perplexity 答案引擎的索引。小而精（全史 5.9 萬次），卻給了我們深卡史上第一次真引用（7/08，實測）——按「每次讀取換到多少引用」算，它排最前面。
• Amazonbot（Amazon・索引型）：目的是餵 Alexa 與 Rufus 購物助理的檢索生態。安靜穩定、天天來，llms.txt 消費比例全場最高——對它，llms.txt 特別有效。
• Google 系（混併標籤）：「Google AI」217 萬次其實是 GoogleOther 與 Google-Extended 兩種標籤的合併計數——兩種標籤各自對應不同用途，但在我們的帳上混在一起。拆開之前，任何關於 Google 的結論都先擱置。
• CCBot（Common Crawl・公共語料）：目的最特別——它替全世界建公共語料庫，是全球開源模型共用的水源。washinmura.jp 已被收進 2026 年 6 月版公共語料（1,515 筆，實測）；進了它，等於同時進了所有喝這口水的模型。
• Bytespider（字節跳動・訓練型）：目的是字節系 AI 產品的訓練語料。全史 7.8 萬次、明顯偏中文——主戰場在中文生態，我們的台日內容是順手帶走。

誠實帳：這份紀錄的邊界

行銷文更要把界線講清楚，因為誠實正是我們想給你的東西：

• n=1：這是一個站的樣本、五個月的快照，不保證是這些爬蟲的普遍行為，更不是定律。
• 有些「個性」是我們自己造成的：Applebot 的爆量起點恰好是品牌遷移隔天；Amazonbot 的高量含有掉進垃圾路徑黑洞的放大成分。那是我們的架構在說話，不是它的性格。
• Google 系無法歸因：「Google AI」是兩種標籤的合併計數，任何基於它的結論都建立在混併數字上。
• 六月的頁面級證據已滅失：URL 明細只保留 30 天，那一波只剩每日總數，「六月它們究竟爬了哪些頁」的說法都不該下。
• 品質分級（green／yellow／red）是站內自訂的三級標籤，分級標準未在本文公開。
• 品質檢定有曝光偏誤：「內容好」和「頁數多」在資料裡高度相關（相關係數 0.86，實測），無法完全分離。
• 轉化率約一成出自歷史引用對帳，是可觀測口徑的約數，非精確逐筆追蹤；首訪時間只給中位數，未附樣本數與分布。
• 零點擊與轉載看不見：AI 把內容講完不給連結、或他站轉貼，都不會在伺服器留下痕跡。這是結構性盲區，不是我們沒查。

帶得走的三件事

1. AI 能見度是一條真實存在的新通路，起點是「先被讀到」：把 sitemap、llms.txt、IndexNow 做起來，讓最能帶客的爬蟲更快找到你。
2. 好內容的報酬在「人」那一層驗收：看引用與導流，不看爬蟲量——機器來者不拒，人才挑。
3. 別被大數字騙：量最大的不一定帶客，會帶客的往往又小又慢。把力氣花在對的那幾隻身上。

最後說句實話：沒有人能保證你的內容一定被 AI 引用——我們自己實測的轉化率也只有約一成。但反面是確定的：沒被讀過的內容，永遠不會出現在 AI 的答案裡。AI 時代的行銷，就從讓 AI 看得見你開始。

引用本文：IDAEO（2026）。《看不見的讀者：12 隻 AI 爬蟲現形》。km.idaeo.ai/ai/ai-crawler-marketing。數據截止 2026-07-24（全史窗自 2026-03-03 起），來源：本站伺服器紀錄實測；完整正本：km.idaeo.ai/reports/ai-crawler-profiles-20260724。