AIクローラーは店に入ってまず何を見る？一日半でrobots.txt 16回・sitemap 3回・llms.txt 0回
計測窓は一日半：robots.txt 16回、sitemap 3回、llms.txt 0回。標準装備は整えるべき、ただし順序が大事。単一サイト・短い窓のため、全称的な断言はしません。
最近よく聞かれます。AIのためにllms.txtを書くべきか、と。いっぽうで「AI時代のウェブサイト標準装備リスト」はどんどん長くなっています。robots.txt、sitemap、llms.txt、RSS——どれも外せない、と。リストが長くなるほど、知っておくべきことがあります。どのファイルを、機械は本当に読んでいるのか？推測をぶつけ合うより、機械の手がどこに伸びたかを直接見るほうが早い。私たちは自社サイトを計測器に見立て、「機械向けファイル」が取得されるたびに一件ずつ記録しました。答えは単純でした。クローラーは我先にと入口の掲示を見に来て、フロア案内図はときどきめくり、AIのために特別に刷った上製の案内冊子は、誰も手に取りませんでした。
どう測ったか、そしてサンプルはどれほど若いか
計測器といっても、アンケートも伝聞もありません。自社サーバーのアクセスログを一件ずつ見るだけです。誰が来て、どのファイルを、何回取っていったか。機械は遠慮しませんが、嘘もつきません。本サイトの計測器は 2026-08-10 07:52 UTC に稼働を始めました。本稿の集計時点で、窓はわずか一日半、対象は単一サイトです。つまり以下の数字はすべて「本サイト、この窓の中」の問いにしか答えません。サンプルは若い。私たちはまずそれを明言してから、結論の話をします。計測器と限界を先に見せ、数字はその後——それが本コラムの流儀です。
一日半の機械向けファイル点呼簿
四つの機械向けファイルの取得回数です。
- robots.txt：16回
- sitemap.xml：3回
- llms.txt：0回
- RSS：0回
ボット別の点呼：YandexBot 12回、Facebook 2回、Googlebot 2回、GPTBot 1回、OAI-SearchBot 1回、Bingbot 1回。
いちばん注目すべき細部：OpenAIの2種類のクローラーはそれぞれ1回ずつ来て、取っていったのはどちらもrobots.txtでした——llms.txtではありません。
順位より顔ぶれが面白い
機械向けファイルをいちばん熱心に読んでいたのは、想像されがちなAIのスターではありません。YandexBotの12回が断然トップで、FacebookとGooglebotが各2回。AI検索に直結する3社——GPTBot、OAI-SearchBot、Bingbot——は各1回だけでした。
この顔ぶれは二つのことを思い出させてくれます。第一に、「誰が機械向けファイルを熱心に読むか」と「誰が読者を連れてきてくれるか」は別の話で、取得頻度は影響力ではありません。第二に、AIクローラーは来ていないのではなく、来た上でrobots.txtを持っていったのです。言い換えれば、「AIにクロールされているか」で自分を慰めるのも、「たくさんクロールされている」で自分を脅すのもやめて、機械が何に手を伸ばし、持っていったあとに自分が何を得たかを見るべきです。
店の言葉に置き換えると
前作の比喩を続けます。ウェブサイトは一軒の店です。robots.txtは入口の掲示で、どこに入ってよく、どこに入ってはいけないかが書いてあります。sitemap.xmlはフロア案内図。llms.txtはAIの貴賓のために特別に作った上製の案内冊子。RSSは「新商品入荷のお知らせ」の申込用紙です。
一日半の実況はこうでした。入口の掲示は16回読まれ、案内図は3回めくられ、上製の冊子は誰も手に取らず、申込用紙は空欄のまま。いちばん手間をかけて用意したものが、お客さまの手に取られるとは限りません。
llms.txtのゼロは、実は意外ではない
まず立場から。llms.txtを置くことに反対はしません。コストはごくわずかです。反対するのは、それをリストの先頭に置き、「AIに見つけてもらう入場券」のように扱うことです。
Googleの公式ドキュメントには、同社のAI機能のためにウェブサイトが追加のAI text filesを用意する必要はない、と明記されています（developers.google.com/search/docs/appearance/ai-features）。検索の巨人みずから、この種のファイルは見ないと宣言しているわけです。そして私たちの店では、OpenAIのクローラーが来ても、見たのは入口の掲示だけでした。公式の宣言と機械の行動が、今回は一致しました。
llms.txtを支持する理由の多くは「今後役に立つかもしれない」です。そうかもしれません。しかし「今後かもしれない」を「いま確実」の前に置くべきではありません——これは優先順位の問題であって、信仰の問題ではありません。
sitemapの価値は、読まれた回数にはない
案内図は3回しかめくられていません。だからといって軽く見てはいけません。本サイトでは対照観測をしています。sitemapを提出する前、Googleの本サイトのページへの回答は「URL is unknown」でした。提出後、はじめて受理されました。案内図の用途は、お客さまが熱心にめくることではなく、ビルの管理事務所があなたの売り場を名簿に載せてくれるかどうかです。読まれた回数が少ないことと、価値がないことは、別の勘定です。
前作の帳簿の大局も忘れないでください。五か月でAI企業による本サイトへの取得は約3,000万回、引き換えに得た人間のクリックは476回でした（観測できる下限です。詳細は https://km.idaeo.ai/ai/ai-crawler-shop-ledger ）。クローラーが本当に忙しくしているのは、あなたのコンテンツの持ち出しであって、あなたがAI向けに書き足したファイルを読むことではありません。
限界：この窓はまだ小さい
- 窓は一日半だけで、サンプルは生まれつき若いです。
- 観測したのは一つのサイトだけで、他の店を代表できません。
- llms.txtの0回は「本サイトの窓の中の観測」であり、「llms.txtは誰にも読まれない」という全称的な断言ではありません。別のサイト、別の窓では結果が違うかもしれません。
- 本稿が数えたのは機械向けファイルの取得だけです。通常のコンテンツページのクロールは別の帳簿で、本稿の範囲外です。
窓はこれからも積み上がります。数字が変われば更新します。
行動：標準装備は整える、順序は正しく
この順序は好みではなく、本サイトで実際に取得された回数で並べたものです。
第一に、robots.txtを整えること。いちばん多く取得されるファイルです。まず取得できること、ルールが正しいことを確認し、入口の掲示が誤った相手を締め出さないようにしてください。
第二に、sitemapを作って提出すること。要点は「提出後に受理されること」で、読まれた回数ではありません。
第三に、llms.txtは置きたければどうぞ。コストはごくわずかです。ただし前の二歩より先に置かないこと、そして流入を期待しないことです。
浮いた力は、AIに引用される価値のあるコンテンツを書くことに回しましょう。機械向けファイルは店構え、コンテンツこそが商品です。
FAQ
- llms.txtとは何ですか？
- ウェブサイトのルートに置くプレーンテキストファイルの提案で、AIがサイト内容を素早く理解する助けを目指したものです。現時点ではコミュニティの提案であり、各社のクローラーが遵守を約束した標準ではありません。
- llms.txtとは何ですか？ — ウェブサイトのルートに置くプレーンテキストファイルの提案で、AIがサイト内容を素早く理解する助けを目指したものです。現時点ではコミュニティの提案であり、各社のクローラーが遵守を約束した標準ではありません。
- What exactly is llms.txt? — A community proposal: a plain-text file placed at a website's root, meant to help AI systems quickly understand the site's content. For now it is a proposal, not a standard that major crawlers have committed to honoring.
- llms.txtはまったく無意味なのですか？
- そうは言えません。言えるのは、本サイトの一日半の窓の中で読み取りが0回だったことです。置くコストはごくわずかですが、何かを期待する根拠は、いまの数字にはありません。
- llms.txtはまったく無意味なのですか？ — そうは言えません。言えるのは、本サイトの一日半の窓の中で読み取りが0回だったことです。置くコストはごくわずかですが、何かを期待する根拠は、いまの数字にはありません。
- Is llms.txt completely useless, then? — We cannot say that. What we can say: within this site's day-and-a-half window, it was fetched 0 times. Publishing it costs little; expecting much from it is not supported by the current numbers.
- GPTBotは来ましたか？何を見ましたか？
- 来ました。GPTBotとOAI-SearchBotが各1回、取得したのはどちらもrobots.txtで、llms.txtではありません。
- GPTBotは来ましたか？何を見ましたか？ — 来ました。GPTBotとOAI-SearchBotが各1回、取得したのはどちらもrobots.txtで、llms.txtではありません。
- Did GPTBot come? What did it look at? — Yes. GPTBot and OAI-SearchBot came once each, and both fetched robots.txt, not llms.txt.
- sitemapは3回しか読まれていないのに、作るべきですか？
- 作るべきです。本サイトの実測では、sitemap提出前はGoogleが本サイトのページに「URL is unknown」と回答し、提出後にはじめて受理されました。価値は登録にあり、閲覧回数にはありません。
- sitemapは3回しか読まれていないのに、作るべきですか？ — 作るべきです。本サイトの実測では、sitemap提出前はGoogleが本サイトのページに「URL is unknown」と回答し、提出後にはじめて受理されました。価値は登録にあり、閲覧回数にはありません。
- The sitemap was read only 3 times — is it still worth doing? — Yes. Our own test: before the sitemap was submitted, Google answered "URL is unknown" for this site's pages; after submission they were accepted. Its value lies in registration, not readership.
- Googleは私のllms.txtを必要としますか？
- Googleの公式ドキュメントは、同社のAI機能のためにウェブサイトが追加のAI text filesを提供する必要はないと明言しています（developers.google.com/search/docs/appearance/ai-features）。
- Googleは私のllms.txtを必要としますか？ — Googleの公式ドキュメントは、同社のAI機能のためにウェブサイトが追加のAI text filesを提供する必要はないと明言しています（developers.google.com/search/docs/appearance/ai-features）。
- Does Google need me to provide an llms.txt? — Google's official documentation states that its AI features do not require websites to provide additional AI text files (developers.google.com/search/docs/appearance/ai-features).
- AIに新しい記事を早く読ませたいなら、鍵は何ですか？
- 前作の実測では、新コンテンツ公開後の初回クロールはClaudeBotが中央値4.2時間、OAI-SearchBotは332.8時間（13.9日）でした（ https://km.idaeo.ai/ai/ai-crawler-marketing ）。差は各クローラー自身のリズムから来るもので、llms.txtとは関係ありません。手を打てるのはインデックス経路とコンテンツの品質です。
- AIに新しい記事を早く読ませたいなら、鍵は何ですか？ — 前作の実測では、新コンテンツ公開後の初回クロールはClaudeBotが中央値4.2時間、OAI-SearchBotは332.8時間（13.9日）でした（ https://km.idaeo.ai/ai/ai-crawler-marketing ）。差は各クローラー自身のリズムから来るもので、llms.txtとは関係ありません。手を打てるのはインデックス経路とコンテンツの品質です。
- If I want AI to reach new articles sooner, what matters? — From our earlier measurement: after new content is published, ClaudeBot's median first crawl comes at 4.2 hours, while OAI-SearchBot takes 332.8 hours (13.9 days) ( https://km.idaeo.ai/ai/ai-crawler-marketing ). The gap comes from each crawler's own rhythm, not from llms.txt; what you can actually tend to is your indexing pipeline and content quality.
- RSSも0回でした。購読通知はもう無用ですか？
- これも「本サイトの窓の中で0回」としか言えません。RSSは人間の読者や他のサービスにはまだ有用かもしれません。ここで測ったのは機械向けファイルの取得だけです。
- RSSも0回でした。購読通知はもう無用ですか？ — これも「本サイトの窓の中で0回」としか言えません。RSSは人間の読者や他のサービスにはまだ有用かもしれません。ここで測ったのは機械向けファイルの取得だけです。
- RSS is also at 0 — are subscription feeds useless now? — Again, all we can say is "0 within this site's window." RSS may still serve human readers and other services; what we measured here is only machine-file fetches.
出典アンカー
この記事を引用
TK Lin・《AIクローラーは店に入ってまず何を見る？一日半でrobots.txt 16回・sitemap 3回・llms.txt 0回》・IDAEO 知識庫・2026-08-11・https://km.idaeo.ai/ai/machine-files-priority