找到 7 筆
美國網際網路法學者 Eric Goldman 上週五在 Reddit 的 r/WebScrapingInsider 版塊舉辦網路爬蟲法律 AMA，認為反爬做法可能把開放的網頁瀏覽變成需要逐站授權的體驗。他強調討論不構成法律建議、僅涉及美國法，並指出 trespass to chattels（動產侵害）判例目前相當混亂，反爬措施也常被用於維持壟斷。他提到爬蟲支撐了搜尋引擎、比價工具與 AI 模型訓練，但因 Intel v.
開發者把自訂 feed 閱讀器 sprinklz.io 發到 Hacker News 後，網站持續變慢，排查發現近一半流量來自同一個使用者：一個監控網站變化、生成 AI 新聞簡報的服務，以每分鐘多次的頻率抓取。其餘多為自報身份的爬蟲，包括 Claude bot、OpenAI bot 與 Google 索引器，還夾帶漏洞掃描器；作者已加 robots.txt（放行搜尋引擎）、限流並最佳化後端基礎設施。
Cloudflare 的 Web Search API 進入公測，讓 AI agent 與應用能聯網搜尋，用即時資訊替代猜測 URL 或依賴模型訓練截止日期。上線時可選 Ceramic.ai、Exa、Linkup 三家搜尋提供商，三家均支援通過 Cloudflare 發起的請求零資料保留，並承諾遵守 Cloudflare 的驗證爬蟲標準。
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 推出 Web Search API，讓 agent 用搜尋抓取即時網頁內容並注入上下文，而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌，支援 BYOK 和 Zero Data Retention 標識，按合作方原價提供、不加價，可在 Workers 裡一行繫結或直接調 REST 端點。
Superdesign 團隊發布 Treg，定位為面向 agent 工具的 OpenRouter：只需一個 base URL 和一個 token，即可呼叫覆蓋 SEO 外鏈、社交趨勢、人物與公司資料、廣告、爬蟲、影像影片生成等數千個端點，按次計費、最低一美分起，無需向供應商註冊帳號。目錄內工具由 Treg 自帶 key 或公開路由代付，團隊自有 key 的呼叫不計費，新驗證團隊可獲 1 美元免費額度。
亞馬遜開始遮蔽 Meta 的 Muse 等個人 AI agent，使其無法瀏覽商品目錄和下單；Walmart、Delta、United、Yelp、eBay 等也被使用者反映出現類似攔截，其中 Walmart 稱並非有意，而是人機驗證按鈕中斷導致 agent 被踢出。Meta、Walmart、Stripe、Sierra、Genesys 等已著手製定面向電商的 agent-to-agent 開放標準，用於區分代表使用者的良性 bot 與惡意爬蟲。
Cloudflare 與 OpenAI 公布了 2026 年 7 月啟動的搜尋發現聯合試點的早期結果：僅使用 Cloudflare 約 1% 的網路規模，就讓 OpenAI 發現並索引了數億個此前未被收錄的網頁，為 ChatGPT 提供更多資訊源。試點還在測試過濾失效、跳轉與重複頁面的訊號，以及標記單個被入侵頁面（如偽造登入頁）的安全訊號，並用變更訊號判斷頁面是否值得重抓，以減少站點的無效爬取負載。該研究只用網頁後設資料服務搜尋與發現，不把頁面內容用於模型訓練；