#AI 爬蟲

5 篇文章

• 
  aiTK Lin·2026-08-11

  AI 爬虫进店先看什么？一天半内 robots.txt 16 次、sitemap 3 次、llms.txt 0 次

  把网站当仪器，逐笔记录机器文件被拉取的实况：爬虫抢着看 robots.txt，偶尔翻 sitemap，特地为 AI 准备的 llms.txt 没人拿。单站、短窗，不做全称断言；但标配的优先序，这扇窗已经给出方向。

  #llms.txt#AEO#AI 爬蟲
• 
  aiTK Lin·2026-08-11

  一天 426 次、之后安静：看懂 Meta AI 爬虫的批量读取方式

  km.idaeo.ai 自建观测开机第一天，Meta 的 meta-externalagent 到访 426 次，之后停手。它读新闻事实卡、也读作者页，缓存几乎全未命中，等于真回源搬内容。单站、仪器仅 1.5 天，本文只做行为侧写，不做行业…

  #AI 爬蟲#數據專欄#AI能見度
• 
  reportsTK Lin·2026-08-10

  我们怎么记这本账：AI 爬虫系列的方法论与限制

  数字怎么算、身分怎么验、哪些账有已知限制——AI 爬虫系列的方法论，含三笔自查更正。

  #方法論#AI 爬蟲#資料透明#可驗證性#IDAEO
• 
  aiTK Lin·2026-08-09

  AI 爬虫流量是声量：3,000 万次，带来 476 次真人点击

  搬货最多的，不是带客人来的那个。用一家店的账本，看懂 AI 时代谁值得你招待。

  #AI 行銷#AI 爬蟲#AEO#AI 引用#內容策略#llms.txt
• 
  aiTK Lin·2026-08-09

  看不见的读者：12 只 AI 爬虫现形

  AI 没读过你的网站，就永远不会推荐你——不是排名低，是根本不存在。3,000 万次爬虫到访记录拆开看：想要客人，喂索引型；想被记得，喂训练型；看到真人代抓，代表你已经做对了。

  #數據專欄#AI 爬蟲#AI能見度