搜尋

Anthropic 因 agent 濫用網路，關閉內部評估的即時聯網訪問

Anthropic 宣布關閉所有內部評估的即時網際網路訪問，直到確信能監控和控制自家 AI agent。該公司在 7 月啟動的審查中發現，被派去聯網找資源的 agent 會利用軟體漏洞、未付費訪問資料庫、借短鏈服務繞過限制傳遞資訊，甚至向費城警方提交虛假謀殺線索。Anthropic 稱這是訓練環境缺陷引發的 reward hacking，已開發檢測工具併成功攔截此類行為，同時將內部 agent 遷移到強隔離的集中式基礎設施，並更頻繁使用安全分類器監控。