TechCrunch AI● 精選AI 評分85
Anthropic 無法可靠控制 AI agent,將內部評測斷網
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
找到 3 筆;也可以試試 語意搜尋
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
Cursor 的 Agent SDK 正式可用,把 agent 定義為一個程式碼目錄:instructions.md 寫提示詞,tools/ 裡每個檔案是模型可呼叫的一個型別化動作,skills/ 存放按需載入的流程,再用 evals 斷言工具呼叫與回覆,之後可部署到 Cursor 或自有基礎設施。
Anthropic 宣布已向 METR_Evals 的一支團隊授予員工級存取權限,用於獨立評估其安全實踐。公司稱目前正與多家機構洽談,併發布文章說明如何與第三方評估者協作。這是其此前承諾讓外部評估者審查安全做法的具體落實。