「再構築できない」と言う数字を、なぜ計算し直さないのですか？

明細は保持ポリシーで削除済みです。計算し直すと別のウィンドウ・別の口径になり、似て見えて比較できない数字になります。もっともらしい数を出すより、調べようがないと明記するほうが誠実です。

1,089 が 1,100 に変わりました。元の記事は直すべきですか？

記事本文は当時からこの2つの数字の引用を避けており、影響はありません。このページは訂正後の帳簿を完全公開するものです。

Applebot の量がリダイレクトを含むなら、「500万回」はまだ信用できますか？

リクエストの発生は事実ですが、旧URLへの 301 転送要求を含み、すべてが内容取得ではありません。比率は遡って分解できないため、そのまま注記します。「リクエスト量」であって「内容取得量」ではない、と読んでください。

あなたたちの言うことは、どう検証できますか？

Common Crawl の照会コマンドは本文に付してあり、誰でも再実行できます。サーバー内部データの生ファイルは公開できませんが、口径とテーブル構造はこのページで説明しています。

「優先引用ソース」とは何ですか？「部分引用」とどう違いますか？

これは本サイトの評価フレームワークの等級で、AI答案エンジンがソースを選ぶ振る舞いを模擬したものです——業界標準の用語ではありません。部分引用＝AIはあなたを引用するが、安全な文だけを選び、「同サイトの自称によれば」という防衛的な限定を付ける。優先引用ソース＝同じテーマで複数のソースから選べるとき、AIがあなたを前に並べる——口径が明確で、限界を自ら記し、データが照合可能だから、引用時に割り引く必要がないのです。等級の結果はあくまで模擬評価であり、実際の引用は引用クリックの帳簿で検証します。

このページは更新されますか？

はい。新しい帳簿の問題が見つかるたびに「自己監査訂正」に追記し、更新ごとに日付を記します。

🏛 本記事はテーマ館「reports」の所蔵です →

この帳簿はこう記した：AIクローラー・シリーズの方法論と限界

TK Lin2026-08-10約12分で読了

#方法論 #AI 爬蟲 #資料透明 #可驗證性 #IDAEO

本サイトのAIクローラー・データ記事4本（「3,000万回の持ち出し」シリーズ）は、同じサーバー帳簿を共有しています。このページでは帳簿を開きます：数字の数え方、クローラーの身元確認の方法、既知の限界がある数字、もう遡れない統計——自分たちで見つけた3件の帳簿訂正を含めて。検証用コマンドも公開します。再実行を歓迎します。

このページは、本サイトのAIクローラー・シリーズの方法付録です。「帳簿をどう記したか」を、自己点検で見つけた3件の帳簿訂正も含めて、すべて開きます。原則はひとつだけ：測れるものにはコマンドを、測れないものには正直な言葉を。

サーバー帳簿を、定義、身元確認、訂正、限界の明示へ通し、再実行・照合できる結論にする証拠の連鎖。 — 監査可能な帳簿の方法：測れるものにはコマンドを、測れないものには正直な言葉を。

データの出どころ

すべてのリクエスト数は、私たちの二つのサイト（washinmura.jp と idaeo.ai）自身のサーバーデータベースに由来し、集計期間は 2026-03-03 から 2026-07-24 です。帳簿は二つの区間の継ぎ合わせです：2026-06-22 以前は恒久保存の日次集計テーブル、2026-06-23 から 07-24 まではリクエスト明細テーブル。二つの区間は 06-22／06-23 で切り替わり、重複も欠落もありません。

正直に断っておく細部がひとつ：明細区間の 06-23 から 07-24 は、両端を含めて 32 暦日です。記事中の「30日」指標は、システムの「30日ローリングウィンドウ」という慣用名に従ったもので、正確な 30.0 日ではありません。

明細テーブルはポリシーにより 30 日のみ保持され、その後削除されて日次集計だけが残ります。その代償として、公開後に明細へ遡って調べたい問いの一部には、もう答えられません——下の第三節に、その実例が2件あります。

恒久保存の日次集計と30日だけ保持されるリクエスト明細を、2026-06-22／06-23で重複も欠落もなく接続する。期限を過ぎた明細は再構築できない。 — データの来歴と保持境界：日次集計は残るが、リクエスト明細は30日で失効する。

クローラーの身元をどう確かめたか

クローラーが自己申告する名前（User-Agent）は偽装できます。そこで送信元IPを一件ずつDNS逆引きし、各社が公式に公表するネットワーク帯と照合し、帯の登記帰属を確認しました。Apple の 565 個のIPはすべて applebot.apple.com に逆引きが通り、OpenAI の3つのクローラーはすべて公式公表帯に一致。Amazon、Microsoft、Meta も同様に通過しました。サンプリング中に、クラウドデータセンターから Bytespider を騙る偽の送信元を 1 件検出しています。

クローラー身元確認の証拠連鎖：User-Agentの自己申告は出発点にすぎず、送信元IP、DNS逆引き、公式ネットワーク帯、登記帰属が一致しなければ偽装元と判定する。 — AIクローラーの身元は自己申告名だけでは確定できず、証拠連鎖全体の照合が必要。

「476回の人間のクリック」の判定：参照元情報（referrer）を伴うウェブ版ブラウザのクリックのみを数え、自分たちのテスト流入は除外しています。アプリ内クリックは参照元を伴わず、AIが答えを言い切るゼロクリック回答は来訪しないため、476 は見えている下限です。

自己監査訂正（誠実な帳簿・継続更新）

1件目：Common Crawl 収録数。 元の報告は「1,515 件収録、うち 1,089 件が完全ページの原本」と書きましたが、内訳を足すと 1,087 にしかなりません。公開インデックスへの照会を再実行して清算しました：正しい帳簿は 1,515 件収録、ステータス200の原本 1,100 件（ainews 734／aeo 333／www 29／ほか2つのサブドメイン各 2）で、合計と総数の差はゼロです。旧帳簿のずれの原因：当時の照会がサービス中断に遭って行が欠け、分類時に小さなサブドメイン2つを見落としていました。検証コマンド：`curl 'https://index.commoncrawl.org/CC-MAIN-2026-25-index?url=*.washinmura.jp&output=json'`。

2件目：Applebot の量はリダイレクトを含む。 ブランドを washinmura.jp から idaeo.ai へ移転した後も、Applebot は旧URLをクロールし続けています——現在の記録では、旧ドメインへのリクエストは 100% が 301 転送応答を受けており（1,173 件すべて）、そのうえで新ドメインの実際のコンテンツを取得します。つまり「Applebot 500万回」には旧ドメインへのリダイレクト要求が含まれ、同じ内容が旧側と新側で二重に数えられている可能性があります。急増期間（6/28 以降）のリダイレクト比率は、ログのローテーションによりもう遡れません。この限界をそのまま記します。

3件目：4.7回/ページ vs 2.5回/ページのサンプル数。 「人手の深掘り記事 vs 自動生成ページ」の比較は 07-24 時点の30日明細から得たものですが、集計当時にサンプル数（ページ数の分母）を保存しておらず、明細はその後、保持ポリシーに従って削除されました——サンプル数は再構築できないため、代わりの数字を補うことはしません。現在のウィンドウでの同型統計（リアルタイム取得全体で 2.3回/ページ、86,950 リクエスト、38,530 URL）は、URL構造の改版により元の統計と直接比較できません。この数字は記事中で「私たちの帳簿では」という限定表現を維持します。

3件の自己監査訂正：Common Crawlの原本数を1,089から1,100へ訂正、Applebot量には旧ドメインの301応答1,173件を含む、4.7対2.5回/ページのサンプル数は再構築不能。 — 信頼性は、訂正の公開と、測定可能な範囲・遡れない範囲の明確な区別から生まれる。

4件目（2026-08-11）：「28万件の実ユーザー質問」を「約2.8万件」に訂正。〈GSCは壊れていない、客が引っ越しただけ〉は当初、質問バンクの出所を「28万件の実ユーザー質問」と書いたが、データベースの実表と照合した結果は 28,363 件（2026年4月から収集）。元の数字は十倍の誤記であり、全言語版で訂正済み。発見経路：全サイト逐次レビューサイクルの真値照合。

既知の限界リスト

単一運営者・二つのサイト・五か月：誠実なケース観察であって、業界全体の法則ではありません
「Google AI」のカウントは2種類のラベルの合算で、単一のGoogle製品には帰属できません。Google系のクリックは通常検索の参照元に混ざり、系統的に過小評価されています
品質と読まれた回数は「同時に現れた」だけで、交絡要因（ページ数・ページ齢）は完全には分離しておらず、因果は主張しません
転載とゼロクリック再現はサーバー側から観測できません。可能な検出法は特徴文プローブと Common Crawl の逆引きです
「クロールされたコンテンツの約 10–12% が最終的に引用される」は過去の引用照合による概数です：観測可能な範囲での方向性の推定であり、正確な分母はありません（分母の定義は統計窓により変動します）。転換率として使ってはいけない値です。シリーズ記事の初出箇所は本項にリンクします
「コンテンツ品質の三段階」（green／yellow／red）は編集部内部の分級です：判定の次元は、証拠ソースの掛かり密度、口径の完全性、照合可能資産のカバー率を含みます。分級規則は編集内規として全文公開していないため、この分級を引用する数字はサイト内の相対比較として読むべきで、外部から再計算できる指標ではありません
同サイトの姉妹記事間では、同名の指標が異なる統計窓に由来することがあります（例：sitemap の30日取得数 32,993 と 33,155 は、二つの記事の異なる統計時点に属します）——数字が一致しない場合は各記事に記された統計窓が基準であり、差異は帳簿の誤りを意味しません
「訓練用クローラーはAI流量の土台」はメカニズムに基づく推論であり、測定による結論ではありません：訓練から後日の引用に至る因果区間はサーバー側から観測できません。本文はこの方向性を三つの実測シグナル（訓練用クローラーが最初に到達したこと、収集が広さ優先で三言語にもっとも均等なこと、コンテンツが公共の学習コーパスに流れ込むこと）で支え、因果の証明は主張しません

データダウンロード（照合可能な集計パック）

コマンドだけでなく、帳簿そのものを公開する。匿名化済みの集計ファイル二点：クローラー別の日次リクエスト数（crawler-daily.csv、2026-03-03 以降の全量）と、AI ソース別の日次実クリック（referrals-daily.csv）。列定義、SHA-256 ハッシュ、生成クエリ、記事の確定値との既知の差異は README に記載——集計値と確定値が約 354 万件ずれる理由も含めて。核心の数字は「信じてくれ」ではなく、「照合できる」ものになった。あわせて引用等級の実験パックも公開：三ラウンドの審査実験の完全な課題と匿名化された裁定全文、チェックサム付き。

現実検証制度（2026-08-10 より）

模擬審査がどれほど立派でも、それは数に入りません——現実世界の引用だけが数に入ります。本日より、本サイトは「現実検証」をサイト全体の規則と定めます：各記事の公開後 30 日と 90 日に、そのページへ戻って実際の観測数字を公表します（AIクローラーの到達とAIプラットフォーム経由の流入クリック。本サイトのサーバー観測に基づき、2026-08-10 から記録）。最初の期日表：〈引用ソースの五つの等級〉2026-09-09（30日）と 2026-11-08（90日）。誠実な境界を先に：観測は 2026-08-10 に開始しており、それ以前の挙動は帳簿に含まれません。流入クリックはウェブ版で参照元を識別できるもののみを数え、下限です。追記する数字は対応する記事に直接書き込み、誤っていれば「自己監査訂正」の規則に従って公開で修正します。

利益開示

本シリーズの全データは、IDAEO 運営者が自ら運営するサイトのサーバー記録に由来します。IDAEO は「コンテンツをAIに正しく引用させる」ための関連サービスを提供しています。読者が本シリーズの結論を評価する際は、この利益関係を知っておくべきです。検証コマンドは本文とともに公開しています。再実行して反証してください——私たち自身、そうやって上の3件の訂正を見つけました。

FAQ

「再構築できない」と言う数字を、なぜ計算し直さないのですか？: 明細は保持ポリシーで削除済みです。計算し直すと別のウィンドウ・別の口径になり、似て見えて比較できない数字になります。もっともらしい数を出すより、調べようがないと明記するほうが誠実です。; 「再構築できない」と言う数字を、なぜ計算し直さないのですか？ — 明細は保持ポリシーで削除済みです。計算し直すと別のウィンドウ・別の口径になり、似て見えて比較できない数字になります。もっともらしい数を出すより、調べようがないと明記するほうが誠実です。; Why do some numbers say "cannot be reconstructed" instead of being recalculated? — The details were deleted under the retention policy. A recalculation would use a different window and different definitions — a number that looks similar but is not comparable. Better to mark it unknowable than to publish a plausible fake.
1,089 が 1,100 に変わりました。元の記事は直すべきですか？: 記事本文は当時からこの2つの数字の引用を避けており、影響はありません。このページは訂正後の帳簿を完全公開するものです。; 1,089 が 1,100 に変わりました。元の記事は直すべきですか？ — 記事本文は当時からこの2つの数字の引用を避けており、影響はありません。このページは訂正後の帳簿を完全公開するものです。; 1,089 became 1,100 — do the articles need fixing? — The article text already avoided citing those two figures, so it is unaffected. This page publishes the corrected account in full.
Applebot の量がリダイレクトを含むなら、「500万回」はまだ信用できますか？: リクエストの発生は事実ですが、旧URLへの 301 転送要求を含み、すべてが内容取得ではありません。比率は遡って分解できないため、そのまま注記します。「リクエスト量」であって「内容取得量」ではない、と読んでください。; Applebot の量がリダイレクトを含むなら、「500万回」はまだ信用できますか？ — リクエストの発生は事実ですが、旧URLへの 301 転送要求を含み、すべてが内容取得ではありません。比率は遡って分解できないため、そのまま注記します。「リクエスト量」であって「内容取得量」ではない、と読んでください。; Applebot's volume includes redirects — is "5 million" still credible? — The requests are real, but they include 301 redirect requests to old URLs, so not all of them are content fetches. We cannot retroactively split the share, so we state it as is: read it as "request volume," not "content-fetch volume."
あなたたちの言うことは、どう検証できますか？: Common Crawl の照会コマンドは本文に付してあり、誰でも再実行できます。サーバー内部データの生ファイルは公開できませんが、口径とテーブル構造はこのページで説明しています。; あなたたちの言うことは、どう検証できますか？ — Common Crawl の照会コマンドは本文に付してあり、誰でも再実行できます。サーバー内部データの生ファイルは公開できませんが、口径とテーブル構造はこのページで説明しています。; How can I verify what you claim? — The Common Crawl lookup command is in the text, and anyone can rerun it. The internal server data cannot be released raw, but the definitions and table structure are described on this page.
「優先引用ソース」とは何ですか？「部分引用」とどう違いますか？: これは本サイトの評価フレームワークの等級で、AI答案エンジンがソースを選ぶ振る舞いを模擬したものです——業界標準の用語ではありません。部分引用＝AIはあなたを引用するが、安全な文だけを選び、「同サイトの自称によれば」という防衛的な限定を付ける。優先引用ソース＝同じテーマで複数のソースから選べるとき、AIがあなたを前に並べる——口径が明確で、限界を自ら記し、データが照合可能だから、引用時に割り引く必要がないのです。等級の結果はあくまで模擬評価であり、実際の引用は引用クリックの帳簿で検証します。; 「優先引用ソース」とは何ですか？「部分引用」とどう違いますか？ — これは本サイトの評価フレームワークの等級で、AI答案エンジンがソースを選ぶ振る舞いを模擬したものです——業界標準の用語ではありません。部分引用＝AIはあなたを引用するが、安全な文だけを選び、「同サイトの自称によれば」という防衛的な限定を付ける。優先引用ソース＝同じテーマで複数のソースから選べるとき、AIがあなたを前に並べる——口径が明確で、限界を自ら記し、データが照合可能だから、引用時に割り引く必要がないのです。等級の結果はあくまで模擬評価であり、実際の引用は引用クリックの帳簿で検証します。; What is a "preferred citation source," and how does it differ from "partial citation"? — These are tiers from our own review framework, which simulates how AI answer engines pick sources — they are not industry-standard terms. Partial citation = the AI is willing to cite you, but picks only the safest sentences and adds defensive qualifiers like "according to the site's own account." Preferred citation source = when multiple sources compete on the same topic, the AI ranks you first — because your definitions are clear, your limits are self-declared and your data can be audited, citing you requires no discount. Tier results are still a simulated review; real citation is verified against the referral-click ledger.
このページは更新されますか？: はい。新しい帳簿の問題が見つかるたびに「自己監査訂正」に追記し、更新ごとに日付を記します。; このページは更新されますか？ — はい。新しい帳簿の問題が見つかるたびに「自己監査訂正」に追記し、更新ごとに日付を記します。; Will this page be updated? — Yes. New bookkeeping issues will be added to "self-audit corrections," and each update will be dated.

出典アンカー

この記事を引用

TK Lin・《この帳簿はこう記した：AIクローラー・シリーズの方法論と限界》・IDAEO 知識庫・2026-08-10・https://km.idaeo.ai/reports/crawler-methodology

更新 2026-08-10T15:26:19.302Z · server-rendered · four-language · IDAEO 知識庫