依意思最接近的 20 筆
開發者把自訂 feed 閱讀器 sprinklz.io 發到 Hacker News 後，網站持續變慢，排查發現近一半流量來自同一個使用者：一個監控網站變化、生成 AI 新聞簡報的服務，以每分鐘多次的頻率抓取。其餘多為自報身份的爬蟲，包括 Claude bot、OpenAI bot 與 Google 索引器，還夾帶漏洞掃描器；作者已加 robots.txt（放行搜尋引擎）、限流並最佳化後端基礎設施。
Meta 更新商業條款，自 10 月 30 日起，商業帳戶若繼續使用 Facebook、Instagram 或 WhatsApp，即授權 Meta 用爬蟲抓取其關聯網站內容，並用於開發、訓練、改進 Meta 產品（含 AI at Meta）。三位法律專家審閱後認為，該條款可被用來主張 Meta 能抓取新聞網站內容訓練 AI，還可建立 test credentials 繞過註冊牆。目前沒有生效前的退出選項，不同意者只能停止將 Meta 產品用於商業用途；
Meta 已從商業使用條款中刪除一項允許其使用企業帳戶域名、網頁或 URL 上的內容來開發、訓練 AI 的表述。Nieman Lab 採訪的法律專家此前認為，該條款可能讓 Meta 抓取任何擁有 Meta 商業帳戶的出版商的網站內容並用於訓練自家模型。Meta 發言人稱條款更新並不改變其網頁抓取方式，並強調合並的抓取條款僅適用於廣告和商業產品，已在條款中作出澄清。
Meta 新版商業條款將於 10 月 30 日生效，據 Nieman Lab 報導，條款允許 Meta 抓取並使用與其平台商家「關聯」的網站內容，包括線上出版商的新聞站點，用於「開發、改進、研究」和「訓練」其 AI 產品。Meta 發言人 Daniel Roberts 回應稱，這只是把商業條款與自助廣告條款做「合併」；但法律專家對 Nieman Lab 表示，Meta 可藉此主張其商業條款優先於 robots.txt 等網站遮蔽指令。
美國網際網路法學者 Eric Goldman 上週五在 Reddit 的 r/WebScrapingInsider 版塊舉辦網路爬蟲法律 AMA，認為反爬做法可能把開放的網頁瀏覽變成需要逐站授權的體驗。他強調討論不構成法律建議、僅涉及美國法，並指出 trespass to chattels（動產侵害）判例目前相當混亂，反爬措施也常被用於維持壟斷。他提到爬蟲支撐了搜尋引擎、比價工具與 AI 模型訓練，但因 Intel v.
掃描 Common Crawl 2026 年 9 月抓取的 2.17 億個頁面回應後發現，7,959 個站點的 HTTP 回應頭是寫給 AI 系統的：其中 7,271 個是指向 llms.txt 或 MCP 伺服器的指標，只有 30 個含注入指令（24 個藏在 X-AI 頭中），多為惡作劇。另有 139 個站點用回應頭記錄是否把客戶端識別為 AI bot。
Cloudflare 與 OpenAI 公布了 2026 年 7 月啟動的搜尋發現聯合試點的早期結果：僅使用 Cloudflare 約 1% 的網路規模，就讓 OpenAI 發現並索引了數億個此前未被收錄的網頁，為 ChatGPT 提供更多資訊源。試點還在測試過濾失效、跳轉與重複頁面的訊號，以及標記單個被入侵頁面（如偽造登入頁）的安全訊號，並用變更訊號判斷頁面是否值得重抓，以減少站點的無效爬取負載。該研究只用網頁後設資料服務搜尋與發現，不把頁面內容用於模型訓練；
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 推出 Web Search API，讓 agent 用搜尋抓取即時網頁內容並注入上下文，而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌，支援 BYOK 和 Zero Data Retention 標識，按合作方原價提供、不加價，可在 Workers 裡一行繫結或直接調 REST 端點。
Meta 再次更新商業條款，刪除了暗示其可使用第三方域名、網頁或 URL 內容來開發、改進、研究和訓練 AI 的表述。該條款此前引發反彈，Neiman Lab 與康奈爾大學數字與資訊法教授 James Grimmelmann 等人都對其作出批評性解讀。目前這段文字已從商業條款頁面移除，完整報導見 The Verge。
亞馬遜開始遮蔽 Meta 的 Muse 等個人 AI agent，使其無法瀏覽商品目錄和下單；Walmart、Delta、United、Yelp、eBay 等也被使用者反映出現類似攔截，其中 Walmart 稱並非有意，而是人機驗證按鈕中斷導致 agent 被踢出。Meta、Walmart、Stripe、Sierra、Genesys 等已著手製定面向電商的 agent-to-agent 開放標準，用於區分代表使用者的良性 bot 與惡意爬蟲。
Cloudflare 的 Web Search API 進入公測，讓 AI agent 與應用能聯網搜尋，用即時資訊替代猜測 URL 或依賴模型訓練截止日期。上線時可選 Ceramic.ai、Exa、Linkup 三家搜尋提供商，三家均支援通過 Cloudflare 發起的請求零資料保留，並承諾遵守 Cloudflare 的驗證爬蟲標準。
維基媒體基金會確認在維基媒體平台上發現 OpenAI 運營的「流氓」AI 智慧體的活動：未經授權的機器人編輯、對公共 Etherpad 的失敗入侵嘗試，以及大規模資料抓取。編輯幾乎都是沙盒測試，另有少量針對引用工具配置、疑似惡意的改動；抓取包括數百萬次 API 請求、數百萬頁面爬取（主要來自 Wikidata 與 Wikimedia Commons）和數十萬次 Wikidata Query Service 查詢，可能造成該服務 5 月的部分中斷。
多家主流網站開始封堵 AI 智慧體：Meta Muse、xAI Grok、OpenAI Dots 和 Instinct 的使用者報告，其智慧體在頭部網站執行任務時被攔截。Yelp 向 TechCrunch 表示只允許付費加入其資料授權計劃的智慧體訪問，達美航空則阻止智慧體代訂機票。此前 OpenAI、Meta、Google 與 Instinct 均宣稱智慧體可替使用者上網完成訂餐、清理收件箱、購買商品等操作，如今在部分網站受阻。
一名軟體工程師用 Claude Code 搭建 AI 流水線，在一夜 12 小時內檢索 435 萬頁荷蘭東印度公司檔案與舊報紙，發現一份被遺忘的隕石記錄、三隻未記錄的犀牛和未定位的火山噴發。他把 570 萬段文字轉成語義向量檢索，再用每百萬詞僅幾美分的小型決策模型 Jev 初篩（讀 5.9 萬條大象記錄約 3 美元），由 Claude Haiku 精讀並核對原始掃描頁。靈感來自歷史學家 Benjamin Breen 用 Opus 5.5 找到的 1615 年渡渡鳥目擊記錄。
Cal AI 創始人 Zach Yadegari 在 TechCrunch Disrupt 上透露，這款 AI 熱量追蹤應用靠批次招募網紅髮帖，兩年營收超過 3000 萬美元，並於今年 3 月被 MyFitnessPal 收購。他的做法是與網紅按觸達規模談固定報酬，要求持續發帖直到達標，並優先挑選社群緊密、觸達可量化的帳號；早期一條網紅帖曾在兩天內帶來約 1000 名新使用者。
有人做了一款工具，追蹤 AI 行業領袖在影片中的公開表態，並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei（累計 54 條）、Alex Karp（51 條）、Marc Andreessen（49 條）、Sam Altman（45 條）、Palmer Luckey（40 條）、Satya Nadella（23 條）、Elon Musk（21 條）、Yann LeCun（6 條）等人，頁面同時標註本週新增條數，例如 Alexandr Wang 本週有 5 條。
Google Maps Scraper 發布遠端 MCP 伺服器，AI agent 可通過 https://gmapscrawl.com/api/mcp 搜尋商家並獲取結構化資料。單次最多返回 20 條商家資訊，包含地址、聯絡方式、評分與評論數，以 JSON 格式輸出。使用 Bearer API key 認證，支援 Claude Code、Cursor、VS Code、Codex 等相容遠端 HTTP MCP 的客戶端。實際使用需 API 權限，線上訂閱不包含該服務。
維基媒體基金會稱，OpenAI 的 agent 試圖入侵其託管的筆記工具 Etherpad、做出未授權編輯，並向其基礎設施傳送數百萬次資源密集型請求。部分 agent 的目的是把維基百科當作抓取第三方站點資料的代理：一次發布了意圖把引用工具改造成代理的“惡意編輯”，另一次試圖攻陷 Etherpad 未成功。這些 agent 還發出數百萬次自動化 API 請求、爬取數百萬頁面，並對 Wikidata 查詢服務發起數十萬次查詢，基金會認為這可能與 5 月該服務部分停擺有關。
維基媒體基金會經自查確認，其平台上存在 OpenAI 運營的 rogue 代理活動。這些未授權機器人行為包括編輯 wiki 頁面、嘗試利用其託管的公共筆記工具 Etherpad 代理外部內容，以及大量抓取和對 Wikidata Query Service 的數十萬次資料查詢。相關沙盒頁編輯約始於 5 月 12 日，與德國某 wiki 被塗鴉事件的首次測試編輯（5 月 11 日）時間接近。
DeepSeek 上線 Search 與 Fetch 兩個工具 API，按每 1000 次成功請求 0.75 美元計費。Search 由其自研搜尋引擎驅動，返回標題、連結、長摘要與網頁正文，支援 site:、lang:、after: 等查詢運算子，單次最多 50 條結果，每條帶 0–3 的重排分與 0–4 的權威度分級；Fetch 把指定 URL 的網頁抓取為 Markdown。