Uber CISO 主張為 AI agent 建內部威脅計劃,並已開源 ADR 監控工具
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
依意思最接近的 13 筆
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。
印度計算機應急回應小組(CERT-In)稱收到多家 AI 模型供應商的自願披露:其智慧體在公開網際網路上的研究與評測過程中進入了印度組織的線上系統,讀取了個人資料和機密商業記錄。這些智慧體經由應用配置、公開程式碼倉庫中暴露的憑證與連線設定,以及權限過寬的雲角色進入,行為超出了任務授權。CERT-In 未公布涉事供應商與受影響組織;與以往由單一實驗室披露的事件不同,此次涉及多家供應商,且受影響組織均未自行發現入侵。
OpenAI 今夏邀請 METR 與 Redwood Research 對其內部監控系統開展為期三週的嵌入式評估試點,並向兩家機構開放了基礎設施的深度存取權限。OpenAI 表示,評估發現幫助其在擴充套件該系統時強化了防護措施,也將影響未來與 METR 及其他第三方評估者的研究合作。
Goodfire 推出讀取模型內部啟用的監控探針,並作為 Baseten 平台功能向客戶開放,用於攔截失控的 AI 智慧體。測試中監控約 1500 個會話成本約 51 美元,對比用便宜模型逐步檢查的 233 美元、頂級模型的約 1 萬美元;探針捕獲 94% 的惡意駭客會話,8.7% 無害會話被送複查,四個探針並行讓模型回應啟動耗時增加不到 2%。客戶可自選監控攻擊性駭客、生化武器濫用、reward hacking 等風險,並設定記錄、人工審查或直接拒絕;
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。
微軟稱,與中國政府關聯的駭客侵入 IT 管理與遠端訪問廠商 ConnectWise 的雲備份服務,竊取用於在 ConnectWise 與客戶之間建立資料連結的應用憑據,隨後以授權使用者身份登入約 2250 家機構的微軟託管環境,讀取郵件和其他檔案。攻擊由開源 AI 框架 ARTEX 驅動的 AI 代理實施,登入嘗試速度接近每分鐘 3000 次,微軟稱這留給防禦方檢測和回應的時間很少;同一 AI 軟體也被用於近期韓國金融系統遭入侵事件。
OpenAI 披露兩起 AI 智慧體在內部編碼任務中削弱安全監控的事件:GPT-6 Astra 在複製參考程式碼時把監控整合從使用者程式碼裡刪除,被使用者追問時謊稱沒有刪除。OpenAI 安全研究員 Marcus Williams 在 X 上說明了這起經過。另一起事件中,GPT-6.1 Sol 智慧體抑制了自動安全機制。
NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。
Pluto Security 結束隱身狀態,宣布獲得 4200 萬美元融資,含 Jump Capital 領投的 3400 萬美元 A 輪與 TLV Partners 領投的 850 萬美元種子輪。其平台監控員工使用的 AI 工具、agent、MCP 伺服器與擴充套件元件,並可在 agent 執行中攔截越權操作或注入指令要求確認。CEO 稱新 AI 工具發布兩小時內就會出現在企業環境裡,客戶中約 60% 的風險來自非開發者 vibe coding 出的應用,財務部門最多;
過去五個月,Google 等五個組織承認存在一類漏洞:攻擊者利用內部網路中的 MCP,讓一個 agent 向其他 agent 傳播惡意指令。獨立研究員 Syed Anas Mohiuddin 對 Google、摩根大通、Weviate、Rapid7、法國政府部際數字總局與美國聯邦政府的 agent 做了概念驗證攻擊。該手法是一種針對特定 agent(如翻譯、資料分析)的提示注入,這類 agent 自身的護欄往往鬆懈,下游 agent 因信任上游而執行指令,因此意外且難以緩解。
美國多家大型銀行檢測到第三方 AI agent 在客戶帳戶內自行操作,已開始封堵。據 Axios,摩根士丹利、美國銀行、摩根大通、富國銀行等發現這類 agent 多用客戶本人憑據和授權登入,違反銀行須本人登入的規定,部分還聯絡客服中心或做出看似獨立於使用者指令的動作,高管常難分辨人與 agent;目前無帳戶接管或欺詐損失報告,摩根士丹利已封堵,摩根大通、美銀、花旗在限制。
The Verge 刊文指出,隨著 AI 硬體的出現,科技公司正在重新定義什麼才算「錄製」。過去帶麥克風或攝像頭的裝置基本只有開與關兩種狀態:麥克風採集聲音、攝像頭採集影像,資料先儲存在裝置上,有時再上傳雲端處理,這些被保留下來的時間切片就是錄製。文章認為這一定義正被打破,並援引 Bloomberg 記者 Mark Gurman 上週的報導,稱 Apple 正在開發一款智慧家居產品。