找到 5 筆
美國網際網路法學者 Eric Goldman 上週五在 Reddit 的 r/WebScrapingInsider 版塊舉辦網路爬蟲法律 AMA，認為反爬做法可能把開放的網頁瀏覽變成需要逐站授權的體驗。他強調討論不構成法律建議、僅涉及美國法，並指出 trespass to chattels（動產侵害）判例目前相當混亂，反爬措施也常被用於維持壟斷。他提到爬蟲支撐了搜尋引擎、比價工具與 AI 模型訓練，但因 Intel v.
開發者把自訂 feed 閱讀器 sprinklz.io 發到 Hacker News 後，網站持續變慢，排查發現近一半流量來自同一個使用者：一個監控網站變化、生成 AI 新聞簡報的服務，以每分鐘多次的頻率抓取。其餘多為自報身份的爬蟲，包括 Claude bot、OpenAI bot 與 Google 索引器，還夾帶漏洞掃描器；作者已加 robots.txt（放行搜尋引擎）、限流並最佳化後端基礎設施。
Cloudflare 的 Web Search API 進入公測，讓 AI agent 與應用能聯網搜尋，用即時資訊替代猜測 URL 或依賴模型訓練截止日期。上線時可選 Ceramic.ai、Exa、Linkup 三家搜尋提供商，三家均支援通過 Cloudflare 發起的請求零資料保留，並承諾遵守 Cloudflare 的驗證爬蟲標準。
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 推出 Web Search API，讓 agent 用搜尋抓取即時網頁內容並注入上下文，而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌，支援 BYOK 和 Zero Data Retention 標識，按合作方原價提供、不加價，可在 Workers 裡一行繫結或直接調 REST 端點。
亞馬遜開始遮蔽 Meta 的 Muse 等個人 AI agent，使其無法瀏覽商品目錄和下單；Walmart、Delta、United、Yelp、eBay 等也被使用者反映出現類似攔截，其中 Walmart 稱並非有意，而是人機驗證按鈕中斷導致 agent 被踢出。Meta、Walmart、Stripe、Sierra、Genesys 等已著手製定面向電商的 agent-to-agent 開放標準，用於區分代表使用者的良性 bot 與惡意爬蟲。