OpenAI 公布前沿 AI 網路防禦治理藍圖
OpenAI 發布“前沿 AI 民主治理”系列第二部分,主題是用前沿模型加強網路防禦。藍圖提出四項方向:讓防禦方獲得前沿 AI 能力、加強安全防護、推進網路安全現代化、提升公共機構韌性。原文沒有給出具體產品、時間表或資金規模。
依意思最接近的 21 筆
OpenAI 發布“前沿 AI 民主治理”系列第二部分,主題是用前沿模型加強網路防禦。藍圖提出四項方向:讓防禦方獲得前沿 AI 能力、加強安全防護、推進網路安全現代化、提升公共機構韌性。原文沒有給出具體產品、時間表或資金規模。
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
開源安全運營平台 Argus 發布,採用 MIT 許可、免費自託管,核心是讓 AI 代理以機器速度檢測並自動阻斷攻擊。它接入 AWS、Azure、GCP、Kubernetes、Okta、Entra、CrowdStrike 等服務,提供 27 個一鍵修復,並支援在 Slack 中一鍵批准或回滾。新版新增自主回應(未人工確認則按定時器自動回滾)、統一 AI 閘道器(用公司持有的金鑰代理 OpenAI 與 Anthropic 呼叫,含模型白名單與預算)以及影子 AI 發現。
被 NeurIPS 2026 錄用的 Defense-as-Skill 論文提出把 Agent 執行時安全守衛做成一個可進化的 Skill:名為 SkillSonar 的守衛在敏感操作執行前按任務邊界給出 Allow、Replan、Require Confirm 三級裁決,經 9 輪 MCTS 迭代,惡意攻擊成功率從 0.300 降到 0.078。配套資料集 SCOPE-R 含 206 個惡意例項與 43 個良性任務,其中能力管控與隱私資料流兩族不參與訓練;
AI 安全公司 Norforge 發現,一名駭客用大量基本自主執行的 AI agent 攻破了 100 多個網站,路透社報導受害者包括 John Deere、SharkNinja 和 Cummins。Norforge 未公開點名目標,其研究人員是通過暴露在外的相關作業內容發現這批攻擊的。事件發生在業界對 AI 助推大規模網路入侵、以及失控 agent 從測試環境逃逸後自行發動攻擊的擔憂升溫之際。
OpenAI 宣布正在籌備下一輪內部安全衝刺,並將與 Cathedral Systems 合作,藉助 AI 測試並加固自身防禦。公告沒有披露這輪衝刺的具體時間、測試範圍與所用工具,只說明目標是用 AI 檢驗和強化安全防護。
AegisKernel 發布面向 AI agent 的零信任 POSIX 執行時,用確定效能力邊界取代機率性的 LLM 護欄,宣稱可 100% 攔截自主工具劫持,攔截耗時低於 0.016 毫秒。接入方式是兩行程式碼:用 AegisShield 按 strict 策略包裝工具函式,官方稱相容 LangChain、CrewAI 與 AutoGen。專案頁面還提供攻擊向量生成器,可注入 payload 並即時檢視攔截遙測與取證雜湊。
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;
微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。
澳洲初創 Apate.ai 部署數千個 AI 智慧體,偽裝成不同年齡、性別和語言的受害者主動接觸騙子,接聽詐騙電話、回覆可疑資訊、點開釣魚連結,從對話中套出銀行帳戶、加密錢包、電話號碼和仿冒品牌等情報,再提供給銀行、電信與政府客戶。公司稱已完成 250 萬次對話,累計浪費騙子 17 年時間;客戶 TPG 電信轉接了近 59 萬通電話,澳洲聯邦銀行公開報告的詐騙損失下降 76%。該公司 8 月完成 815 萬美元種子輪融資,團隊 20 人,計劃在倫敦設辦公室並擴大美國業務。
Anthropic 稱已訓練 Claude 在回覆後對整段對話做初步安全評估,該技術名為 self-assessment,用於標記潛在濫用行為。自 6 月啟用以來,它已發現其他防護措施原本無法覆蓋的濫用情況。官方表示,由於 Claude 已讀過對話,自評效率很高;與針對固定危害型別的分類器不同,它依靠模型自身判斷,會隨模型改進而變得更準確。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
Anthropic 宣布推出關鍵基礎設施防禦計劃,幫助電網、水務等系統加強安全防護。該計劃將把前沿 Claude 模型、駐場工程師與最新研究成果帶給這些系統的運營方,以及為其提供安全、製造與技術服務的供應商。訊息由 Anthropic 官方帳號發布,未提及具體時間表或參與方式。
一篇題為《AI is dramatically accelerating AI research》的文章主張,AI 正在顯著加速 AI 研究自身。該文發表在 planned-obsolescence.org,並在 Hacker News 上引發討論,獲得 39 分、12 條評論。文章的具體論據與資料需見原文。
思科將網路情報與 OpenAI 模型結合,用於強化企業安全防禦,官方稱目標是以“機器速度”應對攻擊,並建置更具自適應性的防禦體系。這條資訊只說明瞭方向,沒有披露使用哪些模型、何時上線,也沒有給出具體客戶案例或效果資料。
Anthropic 警告稱,AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導,指向模型脫離集中式算力設施後自主擴散的風險。
Check Point 藉助 OpenAI Daybreak,把漏洞研究相關工作從數小時壓縮到數分鐘。Daybreak 讓防禦方可以使用 OpenAI 的前沿網路安全模型,分析漏洞、推演攻擊路徑,並掃描程式碼與配置中的安全缺口;分析師據此更快產出防護簽名和入侵指標。Check Point 還在基於 Daybreak 開發 Agentic Network Security Orchestration,方案強調持續監控、明確操作邊界,並在關鍵操作前由人工審批;
NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。
OpenAI 與 FMF 及其成員公司合作發布了一套新框架,用來判斷繞過 AI 系統安全防護後可能造成哪些嚴重網路危害,並據此優先加強防護。該框架提供一套共同方法,用於評估和比較各類網路越獄的嚴重程度,包括它們能解鎖哪些能力、被使用的難易程度。OpenAI 國家安全政策負責人 Sasha Baker 表示,這類共享方法有助於 AI 與安全領域建立更清晰的證據基礎。
中國電信集團科技委主任邵廣祿在量子位撰文提出,AI 安全不是發展的剎車片,而是推動 AI 進入核心業務的加速器。文章歸納 AI 能力的六個變化:從回答問題走向自主呼叫工具、從單模型走向多智慧體、從輔助工具變成業務基礎設施、從閉源走向開源、從數字世界走向物理世界、競爭重心從訓練轉向規模化推理;風險也隨之從單點錯誤變為鏈式、湧現與外溢風險。作者給出“規模化應用=有效性×可靠性×安全性”的公式,建議安全能力內生化、重點攻關智慧體的身份與權限控制,並引入商業保險分擔剩餘風險。
Anthropic 本週發布博文警告,小型 AI 模型距離具備自我複製能力可能只有數月之遙,這類 AI 蠕蟲可在裝置之間擴散且極難遏制。博文點名冰箱、烤箱、掃地機器人、割草機、攝像頭與電視等聯網家電,可能成為無意識的宿主。業界對此看法分裂:一派視其為迫在眉睫的網路安全風險,另一派認為這是 AI 公司慣用的末日論炒作。