Eric Goldman 在 Reddit AMA 談網路爬蟲法律:反爬或使瀏覽需逐站授權
美國網際網路法學者 Eric Goldman 上週五在 Reddit 的 r/WebScrapingInsider 版塊舉辦網路爬蟲法律 AMA,認為反爬做法可能把開放的網頁瀏覽變成需要逐站授權的體驗。他強調討論不構成法律建議、僅涉及美國法,並指出 trespass to chattels(動產侵害)判例目前相當混亂,反爬措施也常被用於維持壟斷。他提到爬蟲支撐了搜尋引擎、比價工具與 AI 模型訓練,但因 Intel v.
原標題:My Reddit AMA on the Law of Web Scraping
閱讀原文
| 評分 | 42 / 35(平均 38,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
美法官駁回 Chegg 與 Penske 對 Google AI 搜尋的反壟斷訴訟
美國聯邦法官 Amit Mehta 駁回 Chegg 和 Penske Media 對 Google 的反壟斷訴訟,認定 Google 在 AI overviews 等產品中的行為不違反反壟斷法。兩家公司 2025 年起訴,稱 Google 抓取內容用於 Gemini 並導致網站流量下降,Penske 還主張網站無法選擇退出 AI 答案。法官認為網站對獲得搜尋流量的期待不構成法律協議。
AI agent 購物遭網站攔截,行業籌建開放標準
亞馬遜開始遮蔽 Meta 的 Muse 等個人 AI agent,使其無法瀏覽商品目錄和下單;Walmart、Delta、United、Yelp、eBay 等也被使用者反映出現類似攔截,其中 Walmart 稱並非有意,而是人機驗證按鈕中斷導致 agent 被踢出。Meta、Walmart、Stripe、Sierra、Genesys 等已著手製定面向電商的 agent-to-agent 開放標準,用於區分代表使用者的良性 bot 與惡意爬蟲。
Google Maps Scraper 上線 MCP 服務,可返回 20 條商家資料
Google Maps Scraper 發布遠端 MCP 伺服器,AI agent 可通過 https://gmapscrawl.com/api/mcp 搜尋商家並獲取結構化資料。單次最多返回 20 條商家資訊,包含地址、聯絡方式、評分與評論數,以 JSON 格式輸出。使用 Bearer API key 認證,支援 Claude Code、Cursor、VS Code、Codex 等相容遠端 HTTP MCP 的客戶端。實際使用需 API 權限,線上訂閱不包含該服務。
Cloudflare AI Gateway 上線 Web Search API 公測
Cloudflare 的 Web Search API 進入公測,讓 AI agent 與應用能聯網搜尋,用即時資訊替代猜測 URL 或依賴模型訓練截止日期。上線時可選 Ceramic.ai、Exa、Linkup 三家搜尋提供商,三家均支援通過 Cloudflare 發起的請求零資料保留,並承諾遵守 Cloudflare 的驗證爬蟲標準。
駭客借 Google 廣告與 Bing 跳轉投放假 Claude 安裝頁
安全公司 Push Security 披露,駭客濫用 Google 搜尋廣告和 Bing 跳轉,把搜尋 claude mac 的使用者導向偽造的 Claude 下載頁,實施 ClickFix 攻擊。廣告以合法的 bing.com 作為展示域名規避稽核,點選後經 Google 廣告跳轉和 Bing 的 ck/a 點選追蹤端點,再經一家南美零售商被入侵的 WordPress 站點,最終到達 claude-desk-code[.]com。