AI 爬蟲進店先看什麼？一天半內 robots.txt 16 次、sitemap 3 次、llms.txt 0 次

FAQ

llms.txt 到底是什麼？

一種放在網站根目錄的純文字檔提案，想幫 AI 快速理解網站內容。目前它是社群提案，還不是各家爬蟲承諾遵守的標準。

llms.txtとは何ですか？ — ウェブサイトのルートに置くプレーンテキストファイルの提案で、AIがサイト内容を素早く理解する助けを目指したものです。現時点ではコミュニティの提案であり、各社のクローラーが遵守を約束した標準ではありません。

What exactly is llms.txt? — A community proposal: a plain-text file placed at a website's root, meant to help AI systems quickly understand the site's content. For now it is a proposal, not a standard that major crawlers have committed to honoring.

llms.txt 是不是完全沒用？

我們不能這樣說。能說的是：本站一天半的窗內，它被讀取 0 次。放它的成本很低；指望它帶來什麼，目前的數字不支持。

llms.txtはまったく無意味なのですか？ — そうは言えません。言えるのは、本サイトの一日半の窓の中で読み取りが0回だったことです。置くコストはごくわずかですが、何かを期待する根拠は、いまの数字にはありません。

Is llms.txt completely useless, then? — We cannot say that. What we can say: within this site's day-and-a-half window, it was fetched 0 times. Publishing it costs little; expecting much from it is not supported by the current numbers.

GPTBot 有來嗎？來了看什麼？

有。GPTBot 與 OAI-SearchBot 各來 1 次，拉的都是 robots.txt，不是 llms.txt。

GPTBotは来ましたか？何を見ましたか？ — 来ました。GPTBotとOAI-SearchBotが各1回、取得したのはどちらもrobots.txtで、llms.txtではありません。

Did GPTBot come? What did it look at? — Yes. GPTBot and OAI-SearchBot came once each, and both fetched robots.txt, not llms.txt.

sitemap 才被讀 3 次，還要做嗎？

要。本站實測：sitemap 未提交前，Google 對本站頁面回覆「URL is unknown」；提交後才被受理。它的價值在登記，不在被翻閱的次數。

sitemapは3回しか読まれていないのに、作るべきですか？ — 作るべきです。本サイトの実測では、sitemap提出前はGoogleが本サイトのページに「URL is unknown」と回答し、提出後にはじめて受理されました。価値は登録にあり、閲覧回数にはありません。

The sitemap was read only 3 times — is it still worth doing? — Yes. Our own test: before the sitemap was submitted, Google answered "URL is unknown" for this site's pages; after submission they were accepted. Its value lies in registration, not readership.

Google 需要我提供 llms.txt 嗎？

Google 官方文件明言，其 AI 功能不需要網站提供額外的 AI text files（developers.google.com/search/docs/appearance/ai-features）。

Googleは私のllms.txtを必要としますか？ — Googleの公式ドキュメントは、同社のAI機能のためにウェブサイトが追加のAI text filesを提供する必要はないと明言しています（developers.google.com/search/docs/appearance/ai-features）。

Does Google need me to provide an llms.txt? — Google's official documentation states that its AI features do not require websites to provide additional AI text files (developers.google.com/search/docs/appearance/ai-features).

想讓 AI 更快讀到新文章，關鍵是什麼？

前作實測：新內容發布後，ClaudeBot 首爬中位 4.2 小時，OAI-SearchBot 要 332.8 小時（13.9 天）（https://km.idaeo.ai/ai/ai-crawler-marketing ）。差異來自各家爬蟲自己的節奏，與 llms.txt 無關；能顧好的是索引管道與內容品質。

AIに新しい記事を早く読ませたいなら、鍵は何ですか？ — 前作の実測では、新コンテンツ公開後の初回クロールはClaudeBotが中央値4.2時間、OAI-SearchBotは332.8時間（13.9日）でした（ https://km.idaeo.ai/ai/ai-crawler-marketing ）。差は各クローラー自身のリズムから来るもので、llms.txtとは関係ありません。手を打てるのはインデックス経路とコンテンツの品質です。

If I want AI to reach new articles sooner, what matters? — From our earlier measurement: after new content is published, ClaudeBot's median first crawl comes at 4.2 hours, while OAI-SearchBot takes 332.8 hours (13.9 days) ( https://km.idaeo.ai/ai/ai-crawler-marketing ). The gap comes from each crawler's own rhythm, not from llms.txt; what you can actually tend to is your indexing pipeline and content quality.

rss 也是 0 次，訂閱通知沒用了嗎？

同樣只能說「本站窗內 0 次」。rss 對真人讀者與其他服務可能仍有用，這裡量到的只是機器檔拉取。

RSSも0回でした。購読通知はもう無用ですか？ — これも「本サイトの窓の中で0回」としか言えません。RSSは人間の読者や他のサービスにはまだ有用かもしれません。ここで測ったのは機械向けファイルの取得だけです。

RSS is also at 0 — are subscription feeds useless now? — Again, all we can say is "0 within this site's window." RSS may still serve human readers and other services; what we measured here is only machine-file fetches.