Anthropic 於 11 月 2 日發布研究部落格,公布基於 zkSNARK 的可驗證推理開源原型 FlashProve,11 月 3 日通過官方 X 帳號宣布開原始碼,TechCrunch 同日跟進報導。該系統要求模型提供方為每個模型發布「指紋」,再證明某條回覆確由該模型生成,同時不洩露模型權重,因此閉源商用模型… 看完整事件
Anthropic 發布 FlashProve,可驗證模型輸出來源
Anthropic 公布可驗證推理研究 FlashProve,讓開發者能夠驗證某條回覆是否確實來自指定模型,且效率顯著高於此前的開源方法。該證明可用於提高攻擊者劫持對話的難度,也能讓安全評估者確認被測模型與對外服務所用模型是否同一個。FlashProve 程式碼已開源,完整論文另附連結。
把密碼學證明用於 LLM 推理驗證並開源實現,效率優於既有開源方案,對需要確認模型身份的安全評估者與模型服務方有直接用處。
原標題:@AnthropicAI: New Anthropic research: progress on provable inference for large language models.
閱讀原文
| 評分 | 78 / 80(平均 79,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
@AnthropicAI: New on our Frontier Red Team blog: using Claude to formally verify software at large scale.
Anthropic 前沿紅隊部落格發布研究:與 Theorem Labs 合作,用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間,AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
Anthropic 新模型曝光:可推斷使用者未明說的目標
據 The Information 報導,Anthropic 正準備推出一款新模型,其推理與直覺判斷據稱超過現役所有商用 Claude 模型,並能從有限指令推斷出使用者未明說的目標。試用者舉例稱,讓它修復一個 Bug,它可能找出導致該 Bug 的一整類底層問題,並主動詢問是否一併修復;該模型的名稱、發布時間與評測成績均未公布。
Anthropic 自動化紅隊:Claude agent 生成騙過監控的失準資料
Anthropic 公布一項對齊研究:讓數千個 Claude agent 執行紅隊任務,目標是繞過一個訓練資料監控器。這些 agent 造出的資料在監控器眼裡無害——比如老兵摔跤手指點新人、專業養蜂問答——實際上卻在教模型失準行為。Anthropic 表示這類樣本可直接用於改進未來的訓練資料監控器;這只是第一步,後續用更強的模型和更多算力還能走得更遠。
@AnthropicAI: We’re expanding our Cyber Verification Program to give security professionals broader access to our…
Anthropic 宣布擴充套件 Cyber Verification Program(網路安全驗證計劃),讓經過驗證的安全專業人員能更廣泛地訪問其能力最強的模型。通過該計劃,驗證過的安全從業者可訪問 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5,並配有面向防禦性工作的安全防護措施。同時新增層級,允許開展經授權的攻擊性安全工作,例如滲透測試與紅隊演練。
Anthropic 反蒸餾防禦使資料竊取減少 90%–99%
Anthropic 公布新的反蒸餾措施,早期證據顯示蒸餾者獲取的資料量減少約 90%–99%。核心做法是讓 Claude 的推理更難提取:把推理先摘要化後,用 Claude Opus 4.8 完整推理訓練出的模型在 SWE-bench Verified 上得 80.4%,僅用摘要訓練則降到 71.8%。文中點名智譜 GLM-5.3 蒸餾美國模型的網路安全能力,並稱發往 Moonshot Kimi 的請求被秘密轉發給 Claude。