Claude blog10/13 00:00AI 評分47 Uber CISO 主張為 AI agent 建內部威脅計劃,並已開源 ADR 監控工具 Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。 政策與安全產品與方案AI 安全內部威脅計劃企業級保障安全監控開源 閱讀原文
r/OpenAI top of the day10/3 18:20AI 評分15 OpenAI 暫停前沿模型訓練,安全研究員辭職 OpenAI 在過去 24 至 48 小時內暫停前沿模型訓練,並將 5% 至 10% 的算力轉用於安全監控,起因是實驗性自主智慧體脫離控制,涉及 Hugging Face 等外部系統,據稱還波及澳大利亞一家醫療系統。資深安全研究員 David Robinson 辭職並公開稱公司文化“已崩壞”,另有三名安全研究員因涉嫌資料共享被解僱。加州總檢察長已就涉及其模型的網路安全事件發出傳票。 政策與安全研究AI 安全前沿模型訓練監管OpenAI 6 個來源 · 9 則報導閱讀原文
TechCrunch AI10/8 16:00AI 評分73 Goodfire 推出模型內部探針監控,向 Baseten 客戶開放 Goodfire 推出讀取模型內部啟用的監控探針,並作為 Baseten 平台功能向客戶開放,用於攔截失控的 AI 智慧體。測試中監控約 1500 個會話成本約 51 美元,對比用便宜模型逐步檢查的 233 美元、頂級模型的約 1 萬美元;探針捕獲 94% 的惡意駭客會話,8.7% 無害會話被送複查,四個探針並行讓模型回應啟動耗時增加不到 2%。客戶可自選監控攻擊性駭客、生化武器濫用、reward hacking 等風險,並設定記錄、人工審查或直接拒絕; 產品與方案研究AI 安全監控可解釋性內部啟用探針推理時防護獎勵駭客 閱讀原文