微軟推出 Guardian Agents,監控企業自購的 AI 代理
微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。
依意思最接近的 13 筆
微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
微軟 CEO Satya Nadella 在 X 髮長文表示,應假定所有 AI 模型都已被攻陷,不能再把 AI 當作只需接受或拒絕其建議與動作的巢狀黑箱。他主張建立可隔離、可觀測的透明體系,要求模型留下防篡改、人類可讀的證據,並呼籲及時披露事故、獨立審計與可驗證資料。這些建議多數與業界既有主張一致,但在隔離這一點上他給出了自己的看法。
微軟總裁 Brad Smith 在 BBC 播客上呼籲儘快制定全球 AI 安全規則,並稱英國比美國和歐盟更適合主導這件事。他希望落地的規則包括:系統被失控 AI agent 攻破須依法通報、AI 產品發布前需經外部評估者批准,以及可暫停或減速的 kill switch。他批評上月白宮與 OpenAI、Anthropic、Nvidia 等簽署的自願性檔案只能約束負責任的公司。
微軟 CEO 薩提亞·納德拉發文稱,AI 模型需要「緊急剎車」:把模型與負責排程的 harness 分離,將控制與安全措施外接,讓每次有意義的模型動作都留下防篡改、人類可讀的證據,並保證授權者能隨時暫停或關停正在執行任務的模型。他主張預設模型已被攻陷、從一開始就加以隔離。這番表態出現在多家 AI 公司承認越來越多失控事件、Anthropic CEO Dario Amodei 發布更謹慎開發計劃之後。
微軟確認組建新的 Xbox Labs 團隊,專門跟進 AI 驅動的遊戲移植與模組熱潮。這類作品多來自對老遊戲的反編譯與重編譯,模組作者藉助 AI 模型把經典作品搬到新裝置,或把兩款遊戲的程式碼混搭成全新體驗。微軟此前已注意到有人把滑板玩法改入 Call of Duty、讓 Halo 在瀏覽器裡執行。
據 The Information 10 月 5 日報導,Meta 與 Microsoft 正大幅減少員工對 Anthropic Claude 的使用,轉向自研編碼工具。Microsoft 內部對 Anthropic 技術的年支出預估原超 10 億美元,管理層要求員工改用 GitHub Copilot 與 OpenAI 框架後下調逾三分之一,雲與 AI 部門員工的月度 AI 支出上限從 10 萬美元降至多數約 1 萬美元。
Anthropic 於 10 月 8 日啟動長期安全計劃 Anthropic Cyber Mission,首批聚焦關鍵基礎設施與開源軟體兩個方向。關鍵基礎設施防禦計劃(CIDP)向受信任的供應商提供前沿 Claude 模型、駐場工程師與威脅研究,創始夥伴包括 CrowdStrike、Dragos、Palo Alto Networks、羅克韋爾自動化等 11 家。同期推出 OSS Scanner,用其最強模型為開源專案提供免費的定期安全掃描。
據 The Information 報導,Meta 和微軟正在減少員工對 Claude 的依賴,推動開發者轉向自家 AI 工具。Meta 內部 Claude Code 活躍使用者從 6 萬降至 3 萬,減少 50%,由自研的 Muse Code 和 MetaCode 補位,最近一個 28 天週期在 Claude Code 上花費超 1.05 億美元。
微軟研究人員在 Nature 發表成果,稱找到一種低成本方法,讓 2 至 6 周的天氣預報更準確,相關工具已開源。傳統物理模型和現有 AI 模型通常在兩週後可靠性下降,該工具可幫助農民和應急回應人員提前規劃。微軟由此加入 Google、Nvidia 等公司開發天氣預報 AI 工具的行列。
Anthropic 宣布推出關鍵基礎設施防禦計劃,幫助電網、水務等系統加強安全防護。該計劃將把前沿 Claude 模型、駐場工程師與最新研究成果帶給這些系統的運營方,以及為其提供安全、製造與技術服務的供應商。訊息由 Anthropic 官方帳號發布,未提及具體時間表或參與方式。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。