km.idaeo.ai · IDAEO 知識庫

🏛 本記事はテーマ館「ai」の所蔵です

1 日 426 回、その後は沈黙:Meta AI クローラーの一括読み取りを読み解く

観測開始の初日、Meta のクローラーは 426 回訪問し、その後静かになりました。ニュースファクトカードと著者ページを集中的に読み、ほぼ毎回オリジンまで取りに来ています。バースト型一括読み取りの行動プロファイルです。

稼働初日に来た、店内を見て回らないお客さん

km.idaeo.ai の自前観測ツールは、2026-08-10 07:52 UTC に稼働を始めました。その初日に、とても特徴的な行動をとる訪問者が現れました。Meta の AI クローラー、UA 名 meta-externalagent です。

なぜ自前で観測するのか。AI クローラーが何を読んだかは、通常のアクセスレポートには映らないからです。広告をクリックせず、フォームも送らず、コメントも残さず、来ては去っていきます。サーバーとエッジ層にログを残して初めて、自分のコンテンツが誰に、どんな方法で読まれているかが分かります。

この訪問者の行動は潔いものでした。この日に 426 回訪問し、すべてが単日に集中しています。最後のアクセスは 14:10 UTC で、その後は静かになりました。開店初日に入ってきて、メニューから壁まで店内を丸ごと撮影して立ち去るお客さんのようです。少なくとも観測できる窓の中では、戻ってきていません。この「一度来て、さらって、消える」という形こそ、本稿が描きたいものです。

何を読んだか:ニュースファクトカード、そして著者ページ

読んだものの上位はこうです。トップページ 29 回、ニュースファクトカード insight/ank-2026-07-28-003 が 28 回、ank-2026-07-16-001 と ank-2026-07-16-003 が各 25 回、/insight 一覧ページ 24 回、/tag/ank タグページ 24 回、favicon 14 回、著者ページ(竹之内 凜)10 回でした。

まず用語の説明です。ニュースファクトカードは当サイトのコンテンツ形式で、一つのニュースを出典とタイムスタンプ付きの構造化カードに分解し、1 枚のカードで一つの事実を明確に伝えます。機械にとって消化しやすい形式です。境界が明確で、出典を確認でき、長文から要点を拾い直す必要がありません。

このリストには二つのシグナルが隠れています。第一に、主食はまさにこのファクトカードで、無作為にめくっているのではありません。一覧ページとタグページも上位にあり、まず目録を見て、それからカードを 1 枚ずつ取りに行く動きです。計画的な仕入れの動線であって、ぶらぶら見て回る動きではありません。第二に、わざわざ著者ページを見に行っています。出版社の編集者が原稿を選ぶときのように、まず原稿の良し悪しを見て、次に著者が誰で、他に何を書いたかを確かめる。「コンテンツと著者」をセットで読むのは、学習コーパスの選材に典型的な輪郭です。素材を選びつつ、素材の来歴もメモしていく動きです。

ほぼ毎回、本当に厨房まで入ってくる

キャッシュの使い方も見てみます。CF エッジキャッシュの 08-10 08:00Z 以降の窓での分布は、dynamic 359、miss 46、expired 27、hit はわずか 1 でした。

平たく言えば、hit は「棚にある出来合いをそのまま持っていく」こと。dynamic・miss・expired はいずれも「厨房に作らせる」こと、つまりリクエストが本当にオリジンサーバーまで届き、内容をそっくり読んでいくことです。ほぼすべてがオリジンまで来ているということは、通りすがりの挨拶ではなく、本気で中身を持ち帰っているということです。

この点はサイト運営者にとって実務的な意味があります。キャッシュにヒットしたトラフィックのコストは、ほぼエッジ層が吸収します。オリジンまで来るトラフィックこそが、オリジンサーバーの計算資源と帯域を消費します。つまり、この種のクロールが残すのは正味の負荷であって、水しぶきではありません。小規模サイトほど知っておくべきです。バッチ型クローラーの単日バーストがオリジンにかける重さと、キャッシュにかかる重さは、別物です。

他のクローラーと比べると、別の動物

前作は当サイトの累計を記録しています。ClaudeBot のクロールは 6.44M 回、GPTBot は 5.62M 回でした(出典:https://km.idaeo.ai/ai/ai-crawler-marketing)。あちらのパターンは細く長く、毎日来てページをめくっていくタイプです。

テンポにも対照群があります。同じ前作の実測では、新しいページの公開後、ClaudeBot は中央値 4.2 時間で初回クロールに来ます。OAI-SearchBot の中央値は 332.8 時間、つまり 13.9 日です。一方はご近所さん、もう一方は遠くの親戚です。

今回 Meta が見せたのは第三のリズムです。毎日でもなく、ゆっくりでもなく、単日で一気にさらって、その後は沈黙する。卸売業者の仕入れのように、一度にまとめて運び出し、毎日の小売り式巡回はしません。この形は通常、「バッチ収集」という働き方に対応します。スケジュールで起動し、さらい終えたら店じまいする方式で、ユーザーが質問するたびに機械がリアルタイムで 1 ページ取りに来る即時検索型とは違います。持ち帰った先で何に使うかは、外からは確かめられません。正直に記録できるのはここまでです。形は仕入れに似ていて、価格チェックには似ていません。

注意が必要です。上の累計数字は旧観測のより長い窓から来ており、Meta の 426 回は新しい観測の初日から来ています。観測手段も窓も異なるため、量の大小は直接比べられません。この節で比べているのは行動の形であって、大きさではありません。

このプロファイルの限界を、先に明示します

  • 単一サイトの観測です。対象は km.idaeo.ai だけで、他のサイトでは Meta はまったく別の行動をとるかもしれません。
  • 観測はまだ 1.5 日です。サンプルは非常に若く、「その後止まった」は窓の中で見えなくなったという意味で、戻ってこないという意味ではありません。
  • キャッシュ分布の窓は 08-10 08:00Z 起点で、訪問回数の集計と口径が完全には重なりません。二組の数字を足し引きしてはいけません。
  • 識別は UA 頼りです。meta-externalagent という UA 名で識別しており、IP の逆引き検証はしていません。UA は偽装できます。

サイト運営者がこのパターンを見たら

  • 単日バーストの後に沈黙、はたいていバッチ収集で、張り込みではありません。狙われていると慌てて判定しないことです。
  • 「何回来たか」より「何を読んだか」が有益です。コンテンツページに加えて著者ページまで読むのは選材シグナル。トップページと favicon だけなら、多くは偵察です。
  • 意思表示の第一歩はあなたの robots.txt です。何を読まれたかを把握してから、歓迎か辞退かを決めましょう。
  • 証拠を残したいなら、観測は早めに始めることです。クローラーの行動証拠はすぐ消えます。稼働が 1 日遅ければ、この 426 回はどの記録にも存在しませんでした。

FAQ

meta-externalagent とは誰ですか?
Meta 傘下の AI クローラーが使う UA 名です。本稿の統計はすべてこの UA 名を識別基準としており、IP の逆引き検証はしていません。この点は本文の限界の節に明記しています。
meta-externalagent とは誰ですか?Meta 傘下の AI クローラーが使う UA 名です。本稿の統計はすべてこの UA 名を識別基準としており、IP の逆引き検証はしていません。この点は本文の限界の節に明記しています。
Who is meta-externalagent?The UA name used by Meta's AI crawler. All statistics in this article use this UA name as the identification basis, with no reverse-IP verification — as stated in the limitations section.
426 回は多いのですか、少ないのですか?
比べる相手によります。前作の累計では ClaudeBot が 6.44M 回で(https://km.idaeo.ai/ai/ai-crawler-marketing)、それと比べれば 426 は端数です。ただし観測手段も窓も異なるため、比べられるのは行動の形だけで、大きさは比べられません。
426 回は多いのですか、少ないのですか?比べる相手によります。前作の累計では ClaudeBot が 6.44M 回で(https://km.idaeo.ai/ai/ai-crawler-marketing)、それと比べれば 426 は端数です。ただし観測手段も窓も異なるため、比べられるのは行動の形だけで、大きさは比べられません。
Is 426 visits a lot or a little?It depends on the comparison. In the previous cumulative ledger, ClaudeBot had 6.44M visits (https://km.idaeo.ai/ai/ai-crawler-marketing); next to that, 426 is small change. But the instruments and windows differ, so only the shape of behavior can be compared, not the size.
なぜほとんどキャッシュを使わないのですか?
窓内の分布は dynamic 359、miss 46、expired 27、hit 1 でした。ほぼ毎回のリクエストが本当にオリジンサーバーまで内容を読みに来ています。サイト運営者にとっての意味は、これがエッジ層で止まったトラフィックではなく、実際のオリジン負荷だということです。
なぜほとんどキャッシュを使わないのですか?窓内の分布は dynamic 359、miss 46、expired 27、hit 1 でした。ほぼ毎回のリクエストが本当にオリジンサーバーまで内容を読みに来ています。サイト運営者にとっての意味は、これがエッジ層で止まったトラフィックではなく、実際のオリジン負荷だということです。
Why did it almost never hit the cache?The in-window distribution was dynamic 359, miss 46, expired 27, hit 1. Almost every request really went back to the origin server to read content. For site owners this means real origin load, not traffic absorbed at the edge.
コンテンツを選んでいますか?
リストには明確な好みが見えます。ニュースファクトカードが最も読まれ(例:ank-2026-07-28-003 は 28 回)、著者ページもわざわざ 10 回読んでいます。コンテンツと著者をセットで見るのは、盲目的なスキャンより選材に近い動きです。
コンテンツを選んでいますか?リストには明確な好みが見えます。ニュースファクトカードが最も読まれ(例:ank-2026-07-28-003 は 28 回)、著者ページもわざわざ 10 回読んでいます。コンテンツと著者をセットで見るのは、盲目的なスキャンより選材に近い動きです。
Is it selective about content?The list shows clear preferences: news fact cards were read most (for example, ank-2026-07-28-003 was read 28 times), and it deliberately read the author page 10 times. Looking at content and author together resembles curation more than blind scanning.
また戻ってきますか?
分かりません。観測はまだ 1.5 日で、「その後止まった」は窓の中の事実にすぎません。この問いは現時点で NA(回答不能)とし、データが揃ってから答えます。
また戻ってきますか?分かりません。観測はまだ 1.5 日で、「その後止まった」は窓の中の事実にすぎません。この問いは現時点で NA(回答不能)とし、データが揃ってから答えます。
Will it come back?We do not know. The instrument has run for only 1.5 days; “it stopped afterwards” is only a fact within the window. This question is currently NA — we will answer it when there is enough data.
クロールされたくない場合はどうすればいいですか?
技術的な第一歩は robots.txt での意思表示です。ブロックすべきかどうかを本稿は代わりに決めません。まず何を読まれたかを把握し、それから取捨を判断してください。
クロールされたくない場合はどうすればいいですか?技術的な第一歩は robots.txt での意思表示です。ブロックすべきかどうかを本稿は代わりに決めません。まず何を読まれたかを把握し、それから取捨を判断してください。
I do not want it crawling my site. What can I do?The first technical step is stating your position in robots.txt. This article will not decide for you whether to block: first find out what of yours it has read, then weigh the trade-off.
このデータは Meta のクローラー全体の行動を代表しますか?
代表しません。単一サイト、単日バースト、1.5 日の観測窓。これは行動プロファイルであって、業界統計ではありません。検証可能な観察の出発点として扱ってください。
このデータは Meta のクローラー全体の行動を代表しますか?代表しません。単一サイト、単日バースト、1.5 日の観測窓。これは行動プロファイルであって、業界統計ではありません。検証可能な観察の出発点として扱ってください。
Does this data represent Meta's crawler behavior overall?No. Single site, a single-day burst, a 1.5-day instrument window — this is a behavioral profile, not industry statistics. Treat it as one verifiable starting observation.

この記事を引用

TK Lin・《1 日 426 回、その後は沈黙:Meta AI クローラーの一括読み取りを読み解く》・IDAEO 知識庫・2026-08-11・https://km.idaeo.ai/ai/meta-crawler-burst

更新 2026-08-11T12:20:10.717Z · server-rendered · four-language · IDAEO 知識庫