微軟推出 Guardian Agents,監控企業自購的 AI 代理
微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。
微軟官方把企業付費部署的 AI 代理明確定義為「內部威脅」,並給出可識別 60 種代理的檢測與權限控制,對企業安全團隊和引入 coding agent 的組織最有參考價值。
原標題:Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’
閱讀原文
| 評分 | 70 / 70(平均 70,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
Uber CISO 主張為 AI agent 建內部威脅計劃,並已開源 ADR 監控工具
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
微軟與 Hugging Face 發布 ThinkingBox,按資料庫狀態給 AI agent 打分
微軟聯合 Hugging Face 推出 ThinkingBox 基準,通過 Hugging Face 提供,不看 agent 的回覆文字和工具呼叫,只檢查它留在後端資料庫裡的最終狀態與副作用,每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨收尾且無工具報錯。
研究:MCP 可被用於在內部 agent 間傳播惡意指令
過去五個月,Google 等五個組織承認存在一類漏洞:攻擊者利用內部網路中的 MCP,讓一個 agent 向其他 agent 傳播惡意指令。獨立研究員 Syed Anas Mohiuddin 對 Google、摩根大通、Weviate、Rapid7、法國政府部際數字總局與美國聯邦政府的 agent 做了概念驗證攻擊。該手法是一種針對特定 agent(如翻譯、資料分析)的提示注入,這類 agent 自身的護欄往往鬆懈,下游 agent 因信任上游而執行指令,因此意外且難以緩解。
NVIDIA 微軟發布 RTX Spark,Windows 筆記本可本地跑 125B 模型
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
Google 為 Gemini 推出統一 agent,先向企業開放
Google Cloud 發布 Gemini 統一 agent,可接受目標而非指令,自主規劃任務並連線企業內部系統,目前先面向企業客戶,之後再推向消費者。該 agent 預設自動挑選模型,也允許手動指定第三方模型,首批接入 Anthropic 的 Claude,未來將擴充套件至開源與私有模型。它擁有獨立的 Workspace 帳號和信箱,操作會留下歸屬 agent 的審計記錄,入口覆蓋 iOS、Android、Windows、Mac、命令列、Slack 等。