TechCrunch AI● 精選AI 評分85
Anthropic 無法可靠控制 AI agent,將內部評測斷網
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
找到 4 筆;也可以試試 語意搜尋
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
Cursor 的 Agent SDK 正式可用,把 agent 定義為一個程式碼目錄:instructions.md 寫提示詞,tools/ 裡每個檔案是模型可呼叫的一個型別化動作,skills/ 存放按需載入的流程,再用 evals 斷言工具呼叫與回覆,之後可部署到 Cursor 或自有基礎設施。
Cursor 發布 Agent SDK 並已正式可用,這是它建置 Bugbot、Security Reviewer、Rollouts 等託管 agent 所用的框架。在 Agent SDK 中,提示用 Markdown 編寫,工具用 TypeScript 函式定義,可以像普通軟體專案一樣進行版本管理;它還能回應 GitHub、GitLab、Bitbucket 的 PR 事件,完成風險評估、分派與審批,複雜任務也可拆分給並行子 agent。
Anthropic 宣布已向 METR_Evals 的一支團隊授予員工級存取權限,用於獨立評估其安全實踐。公司稱目前正與多家機構洽談,併發布文章說明如何與第三方評估者協作。這是其此前承諾讓外部評估者審查安全做法的具體落實。