依意思最接近的 9 筆
Cloudflare 與 OpenAI 公布了 2026 年 7 月啟動的搜尋發現聯合試點的早期結果：僅使用 Cloudflare 約 1% 的網路規模，就讓 OpenAI 發現並索引了數億個此前未被收錄的網頁，為 ChatGPT 提供更多資訊源。試點還在測試過濾失效、跳轉與重複頁面的訊號，以及標記單個被入侵頁面（如偽造登入頁）的安全訊號，並用變更訊號判斷頁面是否值得重抓，以減少站點的無效爬取負載。該研究只用網頁後設資料服務搜尋與發現，不把頁面內容用於模型訓練；
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 推出 Web Search API，讓 agent 用搜尋抓取即時網頁內容並注入上下文，而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌，支援 BYOK 和 Zero Data Retention 標識，按合作方原價提供、不加價，可在 Workers 裡一行繫結或直接調 REST 端點。
掃描 Common Crawl 2026 年 9 月抓取的 2.17 億個頁面回應後發現，7,959 個站點的 HTTP 回應頭是寫給 AI 系統的：其中 7,271 個是指向 llms.txt 或 MCP 伺服器的指標，只有 30 個含注入指令（24 個藏在 X-AI 頭中），多為惡作劇。另有 139 個站點用回應頭記錄是否把客戶端識別為 AI bot。
Cloudflare 的 Web Search API 進入公測，讓 AI agent 與應用能聯網搜尋，用即時資訊替代猜測 URL 或依賴模型訓練截止日期。上線時可選 Ceramic.ai、Exa、Linkup 三家搜尋提供商，三家均支援通過 Cloudflare 發起的請求零資料保留，並承諾遵守 Cloudflare 的驗證爬蟲標準。
Pensieve 推出 macOS 本地搜尋索引，通過 MCP 接入 Claude Code、Codex、Cursor 等 coding agent，讓它們先搜尋再讀檔案，而不是逐個 grep。
開發者把自訂 feed 閱讀器 sprinklz.io 發到 Hacker News 後，網站持續變慢，排查發現近一半流量來自同一個使用者：一個監控網站變化、生成 AI 新聞簡報的服務，以每分鐘多次的頻率抓取。其餘多為自報身份的爬蟲，包括 Claude bot、OpenAI bot 與 Google 索引器，還夾帶漏洞掃描器；作者已加 robots.txt（放行搜尋引擎）、限流並最佳化後端基礎設施。
Google 週二上線 SynthID 驗證網站，任何人可上傳圖片、影片或音訊，檢查是否為 AI 生成。該工具此前只向部分記者、媒體從業者和研究人員開放測試，現已全面開放，支援 JPG、PNG、HEIC、MP4、MP3、WAV 等十餘種格式。SynthID 自 2023 年推出，Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、Vids 等生成工具都會為產出加水印，OpenAI、Nvidia、Kakao 也已支援。
一名軟體工程師用 Claude Code 搭建 AI 流水線，在一夜 12 小時內檢索 435 萬頁荷蘭東印度公司檔案與舊報紙，發現一份被遺忘的隕石記錄、三隻未記錄的犀牛和未定位的火山噴發。他把 570 萬段文字轉成語義向量檢索，再用每百萬詞僅幾美分的小型決策模型 Jev 初篩（讀 5.9 萬條大象記錄約 3 美元），由 Claude Haiku 精讀並核對原始掃描頁。靈感來自歷史學家 Benjamin Breen 用 Opus 5.5 找到的 1615 年渡渡鳥目擊記錄。
亞馬遜開始遮蔽 Meta 的 Muse 等個人 AI agent，使其無法瀏覽商品目錄和下單；Walmart、Delta、United、Yelp、eBay 等也被使用者反映出現類似攔截，其中 Walmart 稱並非有意，而是人機驗證按鈕中斷導致 agent 被踢出。Meta、Walmart、Stripe、Sierra、Genesys 等已著手製定面向電商的 agent-to-agent 開放標準，用於區分代表使用者的良性 bot 與惡意爬蟲。