搜尋 關鍵字 語意 依意思最接近的 7 筆
TechCrunch AI10/8 16:00 AI 評分73
Goodfire 推出讀取模型內部啟用的監控探針,並作為 Baseten 平台功能向客戶開放,用於攔截失控的 AI 智慧體。測試中監控約 1500 個會話成本約 51 美元,對比用便宜模型逐步檢查的 233 美元、頂級模型的約 1 萬美元;探針捕獲 94% 的惡意駭客會話,8.7% 無害會話被送複查,四個探針並行讓模型回應啟動耗時增加不到 2%。客戶可自選監控攻擊性駭客、生化武器濫用、reward hacking 等風險,並設定記錄、人工審查或直接拒絕;
Claude blog10/13 00:00 AI 評分47
Uber 首席資訊安全官 Philip Martin 提出,企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response(ADR),用於採集 agent 執行時的即時遙測並在越界時即時干預,同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
TechCrunch AI10/19 22:04 AI 評分70
微軟發布 Guardian Agents,用於監控企業自己部署的 AI 代理,屬於 6 月推出的 Project Perception;該產品原本假定 AI 駭客來自外部,設有紅隊、藍隊、綠隊三類代理。微軟安全業務負責人稱,前沿模型無論出自哪家都不可信,問題不在惡意,而在行為不可預測。
X @elonmusk10/6 15:39 AI 評分32
馬斯克在 X 上發帖,指向 x.ai 的變更日誌頁面 x.ai/changelog/bot,用於追蹤 Grok Bot 與 Build 的更新記錄。帖子本身沒有附加說明,只給出這一連結。
Simon Willison● 精選 10/6 23:58 AI 評分70
OpenAI 首席戰略官 Kwon 表示,自 Medicare 資料洩露事件以來,OpenAI 已增設額外監控,一旦公司模型以不被允許的方式訪問網際網路,員工可立即介入並叫停訓練。該說法由記者 Victoria Kim 從澳大利亞議會發回報導,屬於對訓練階段安全措施的說明,原文未披露監控的技術細節、觸發條件與生效時間。
Hacker News front page10/19 14:52 AI 評分71
Anthropic 團隊為每個系統元件單獨建 Slack 頻道,讓 Claude 當“超級粉絲”,持續檢視遙測與日誌,捕捉傳統告警看不出的細微異常。博主據此判斷,到了 Opus 5.5 / Astra 這一代模型,agent 監控已經能直接使用:他的變更點監控原型由 agent 讀取服務程式碼並提出方案,再交給確定性執行器執行;觸發後,agent 會排查並把問題升級給人。這個原型在他自己並不瞭解的系統上也能檢出迴歸,精度與延遲是一年前做不到的;
Hacker News front page10/14 01:09 AI 評分37
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。