
1 日 426 回、その後は沈黙:Meta AI クローラーの一括読み取りを読み解く
観測開始の初日、Meta のクローラーは 426 回訪問し、その後静かになりました。ニュースファクトカードと著者ページを集中的に読み、ほぼ毎回オリジンまで取りに来ています。バースト型一括読み取りの行動プロファイルです。
稼働初日に来た、店内を見て回らないお客さん
km.idaeo.ai の自前観測ツールは、2026-08-10 07:52 UTC に稼働を始めました。その初日に、とても特徴的な行動をとる訪問者が現れました。Meta の AI クローラー、UA 名 meta-externalagent です。
なぜ自前で観測するのか。AI クローラーが何を読んだかは、通常のアクセスレポートには映らないからです。広告をクリックせず、フォームも送らず、コメントも残さず、来ては去っていきます。サーバーとエッジ層にログを残して初めて、自分のコンテンツが誰に、どんな方法で読まれているかが分かります。
この訪問者の行動は潔いものでした。この日に 426 回訪問し、すべてが単日に集中しています。最後のアクセスは 14:10 UTC で、その後は静かになりました。開店初日に入ってきて、メニューから壁まで店内を丸ごと撮影して立ち去るお客さんのようです。少なくとも観測できる窓の中では、戻ってきていません。この「一度来て、さらって、消える」という形こそ、本稿が描きたいものです。
何を読んだか:ニュースファクトカード、そして著者ページ
読んだものの上位はこうです。トップページ 29 回、ニュースファクトカード insight/ank-2026-07-28-003 が 28 回、ank-2026-07-16-001 と ank-2026-07-16-003 が各 25 回、/insight 一覧ページ 24 回、/tag/ank タグページ 24 回、favicon 14 回、著者ページ(竹之内 凜)10 回でした。
まず用語の説明です。ニュースファクトカードは当サイトのコンテンツ形式で、一つのニュースを出典とタイムスタンプ付きの構造化カードに分解し、1 枚のカードで一つの事実を明確に伝えます。機械にとって消化しやすい形式です。境界が明確で、出典を確認でき、長文から要点を拾い直す必要がありません。
このリストには二つのシグナルが隠れています。第一に、主食はまさにこのファクトカードで、無作為にめくっているのではありません。一覧ページとタグページも上位にあり、まず目録を見て、それからカードを 1 枚ずつ取りに行く動きです。計画的な仕入れの動線であって、ぶらぶら見て回る動きではありません。第二に、わざわざ著者ページを見に行っています。出版社の編集者が原稿を選ぶときのように、まず原稿の良し悪しを見て、次に著者が誰で、他に何を書いたかを確かめる。「コンテンツと著者」をセットで読むのは、学習コーパスの選材に典型的な輪郭です。素材を選びつつ、素材の来歴もメモしていく動きです。
ほぼ毎回、本当に厨房まで入ってくる
キャッシュの使い方も見てみます。CF エッジキャッシュの 08-10 08:00Z 以降の窓での分布は、dynamic 359、miss 46、expired 27、hit はわずか 1 でした。
平たく言えば、hit は「棚にある出来合いをそのまま持っていく」こと。dynamic・miss・expired はいずれも「厨房に作らせる」こと、つまりリクエストが本当にオリジンサーバーまで届き、内容をそっくり読んでいくことです。ほぼすべてがオリジンまで来ているということは、通りすがりの挨拶ではなく、本気で中身を持ち帰っているということです。
この点はサイト運営者にとって実務的な意味があります。キャッシュにヒットしたトラフィックのコストは、ほぼエッジ層が吸収します。オリジンまで来るトラフィックこそが、オリジンサーバーの計算資源と帯域を消費します。つまり、この種のクロールが残すのは正味の負荷であって、水しぶきではありません。小規模サイトほど知っておくべきです。バッチ型クローラーの単日バーストがオリジンにかける重さと、キャッシュにかかる重さは、別物です。
他のクローラーと比べると、別の動物
前作は当サイトの累計を記録しています。ClaudeBot のクロールは 6.44M 回、GPTBot は 5.62M 回でした(出典:https://km.idaeo.ai/ai/ai-crawler-marketing)。あちらのパターンは細く長く、毎日来てページをめくっていくタイプです。
テンポにも対照群があります。同じ前作の実測では、新しいページの公開後、ClaudeBot は中央値 4.2 時間で初回クロールに来ます。OAI-SearchBot の中央値は 332.8 時間、つまり 13.9 日です。一方はご近所さん、もう一方は遠くの親戚です。
今回 Meta が見せたのは第三のリズムです。毎日でもなく、ゆっくりでもなく、単日で一気にさらって、その後は沈黙する。卸売業者の仕入れのように、一度にまとめて運び出し、毎日の小売り式巡回はしません。この形は通常、「バッチ収集」という働き方に対応します。スケジュールで起動し、さらい終えたら店じまいする方式で、ユーザーが質問するたびに機械がリアルタイムで 1 ページ取りに来る即時検索型とは違います。持ち帰った先で何に使うかは、外からは確かめられません。正直に記録できるのはここまでです。形は仕入れに似ていて、価格チェックには似ていません。
注意が必要です。上の累計数字は旧観測のより長い窓から来ており、Meta の 426 回は新しい観測の初日から来ています。観測手段も窓も異なるため、量の大小は直接比べられません。この節で比べているのは行動の形であって、大きさではありません。
このプロファイルの限界を、先に明示します
- 単一サイトの観測です。対象は km.idaeo.ai だけで、他のサイトでは Meta はまったく別の行動をとるかもしれません。
- 観測はまだ 1.5 日です。サンプルは非常に若く、「その後止まった」は窓の中で見えなくなったという意味で、戻ってこないという意味ではありません。
- キャッシュ分布の窓は 08-10 08:00Z 起点で、訪問回数の集計と口径が完全には重なりません。二組の数字を足し引きしてはいけません。
- 識別は UA 頼りです。meta-externalagent という UA 名で識別しており、IP の逆引き検証はしていません。UA は偽装できます。
サイト運営者がこのパターンを見たら
- 単日バーストの後に沈黙、はたいていバッチ収集で、張り込みではありません。狙われていると慌てて判定しないことです。
- 「何回来たか」より「何を読んだか」が有益です。コンテンツページに加えて著者ページまで読むのは選材シグナル。トップページと favicon だけなら、多くは偵察です。
- 意思表示の第一歩はあなたの robots.txt です。何を読まれたかを把握してから、歓迎か辞退かを決めましょう。
- 証拠を残したいなら、観測は早めに始めることです。クローラーの行動証拠はすぐ消えます。稼働が 1 日遅ければ、この 426 回はどの記録にも存在しませんでした。
FAQ
- meta-externalagent とは誰ですか?
- Meta 傘下の AI クローラーが使う UA 名です。本稿の統計はすべてこの UA 名を識別基準としており、IP の逆引き検証はしていません。この点は本文の限界の節に明記しています。
- 426 回は多いのですか、少ないのですか?
- 比べる相手によります。前作の累計では ClaudeBot が 6.44M 回で(https://km.idaeo.ai/ai/ai-crawler-marketing)、それと比べれば 426 は端数です。ただし観測手段も窓も異なるため、比べられるのは行動の形だけで、大きさは比べられません。
- なぜほとんどキャッシュを使わないのですか?
- 窓内の分布は dynamic 359、miss 46、expired 27、hit 1 でした。ほぼ毎回のリクエストが本当にオリジンサーバーまで内容を読みに来ています。サイト運営者にとっての意味は、これがエッジ層で止まったトラフィックではなく、実際のオリジン負荷だということです。
- コンテンツを選んでいますか?
- リストには明確な好みが見えます。ニュースファクトカードが最も読まれ(例:ank-2026-07-28-003 は 28 回)、著者ページもわざわざ 10 回読んでいます。コンテンツと著者をセットで見るのは、盲目的なスキャンより選材に近い動きです。
- また戻ってきますか?
- 分かりません。観測はまだ 1.5 日で、「その後止まった」は窓の中の事実にすぎません。この問いは現時点で NA(回答不能)とし、データが揃ってから答えます。
- クロールされたくない場合はどうすればいいですか?
- 技術的な第一歩は robots.txt での意思表示です。ブロックすべきかどうかを本稿は代わりに決めません。まず何を読まれたかを把握し、それから取捨を判断してください。
- このデータは Meta のクローラー全体の行動を代表しますか?
- 代表しません。単一サイト、単日バースト、1.5 日の観測窓。これは行動プロファイルであって、業界統計ではありません。検証可能な観察の出発点として扱ってください。
出典アンカー
- km.idaeo.ai 自建邊緣觀測儀器(2026-08-10 07:52 UTC 開機;本文到訪數、閱讀清單、快取分佈的唯一來源) · https://km.idaeo.ai · IDAEO の他の引用
- 前作〈AI 爬蟲行銷帳〉(ClaudeBot 6.44M/GPTBot 5.62M 累計;首爬 ClaudeBot 4.2 小時/OAI-SearchBot 332.8 小時=13.9 天) · https://km.idaeo.ai/ai/ai-crawler-marketing · IDAEO の他の引用
- 前作〈五個月帳本〉(系列脈絡,本文正文未引用其數字) · https://km.idaeo.ai/ai/ai-crawler-shop-ledger · IDAEO の他の引用
- 前作〈語言結構〉(系列脈絡,本文正文未引用其數字) · https://km.idaeo.ai/ai/visibility-lesson-1 · IDAEO の他の引用
この記事を引用
TK Lin・《1 日 426 回、その後は沈黙:Meta AI クローラーの一括読み取りを読み解く》・IDAEO 知識庫・2026-08-11・https://km.idaeo.ai/post/ai/meta-crawler-burst更新日 2026-08-14