依意思最接近的 30 筆
中國電信集團科技委主任邵廣祿在量子位撰文提出，AI 安全不是發展的剎車片，而是推動 AI 進入核心業務的加速器。文章歸納 AI 能力的六個變化：從回答問題走向自主呼叫工具、從單模型走向多智慧體、從輔助工具變成業務基礎設施、從閉源走向開源、從數字世界走向物理世界、競爭重心從訓練轉向規模化推理；風險也隨之從單點錯誤變為鏈式、湧現與外溢風險。作者給出“規模化應用=有效性×可靠性×安全性”的公式，建議安全能力內生化、重點攻關智慧體的身份與權限控制，並引入商業保險分擔剩餘風險。
Anthropic 前沿紅隊部落格發布研究：與 Theorem Labs 合作，用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間，AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
Anthropic 公布可驗證推理研究 FlashProve，讓開發者能夠驗證某條回覆是否確實來自指定模型，且效率顯著高於此前的開源方法。該證明可用於提高攻擊者劫持對話的難度，也能讓安全評估者確認被測模型與對外服務所用模型是否同一個。FlashProve 程式碼已開源，完整論文另附連結。
Google DeepMind 發布了一套可快速驗證生物設計是否內建安全防護的工具，並以開放形式供研究使用。該工具面向科研人員，目的是在 AI 加速科學發現的同時不拖慢關鍵研究進度。官方未披露具體工具名稱、技術細節與適用限制。
Uber 首席資訊安全官 Philip Martin 提出，企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response（ADR），用於採集 agent 執行時的即時遙測並在越界時即時干預，同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
OpenAI 宣布正在籌備下一輪內部安全衝刺，並將與 Cathedral Systems 合作，藉助 AI 測試並加固自身防禦。公告沒有披露這輪衝刺的具體時間、測試範圍與所用工具，只說明目標是用 AI 檢驗和強化安全防護。
Block 正藉助 OpenAI 技術建置 AI 安全能力，其安全團隊可以更快地調查威脅，並在幾分鐘內提出補丁。該訊息於 2026 年 10 月 14 日發布，公開內容只提到威脅調查與補丁提報兩個環節，未披露所用具體模型、部署規模與成本細節。
Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構，能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理，全部由單個網路、單個普通 CPU 核心完成，每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中，它在一道“提問會改變證人記憶”的警方訊問推理題，以及僅憑資料學習、診斷和預測系統兩項上，與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
網路安全初創公司 Cathedral 在 Anthropic 漏洞賞金專案的一次測試中，用 AI 代理在不到 12 小時內進入其內部系統，暴露了員工薪資、錄用通知、會議記錄和 Slack 訊息。Anthropic 確認被訪問的是部分銷售、人力和 IT 系統，涉及部分客戶與合作伙伴的業務聯絡方式，但客戶與 Claude 的對話、模型輸出、原始碼與權重未被觸及。Anthropic 稱監控在對方上報前已發現活動並當天關閉訪問，隨後停用相關第三方軟體並通報聯邦官員。
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
Pluto Security 結束隱身狀態，宣布獲得 4200 萬美元融資，含 Jump Capital 領投的 3400 萬美元 A 輪與 TLV Partners 領投的 850 萬美元種子輪。其平台監控員工使用的 AI 工具、agent、MCP 伺服器與擴充套件元件，並可在 agent 執行中攔截越權操作或注入指令要求確認。CEO 稱新 AI 工具發布兩小時內就會出現在企業環境裡，客戶中約 60% 的風險來自非開發者 vibe coding 出的應用，財務部門最多；
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理，並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果，而 LLM 的思維鏈仍只是預測下一個 token，缺少可檢查的認知狀態、知識與推理的分離，且常事後編造解釋。Yann LeCun 表示讚賞，認為真正推理必須涉及搜尋。
Claude 在 123 個真實開源庫的 RISC-V 彙編層面生成了形式化安全證明，作者稱這是首次用 AI 把形式化驗證大規模應用到生產軟體。證明覆蓋所有小於 64 MB 的輸入：在單執行緒靜態二進位制、固定記憶體預算的 RISC-V 執行環境下，程式總能正常退出，不觸發記憶體安全錯誤或斷言失敗。寫證明的過程中 Claude 還發現了數萬億次測試都沒檢出的 bug；
404 Media 調查披露，Proton CEO Andy Yen 在內部安全 Slack 頻道回應一位希望留幾天給新程式碼做滲透測試再上線的工程師，稱這類想法是 bullshit and loser thinking，並要求團隊別再手工打磨程式碼、多用 AI。報導還稱員工曾被暗示 AI 使用率可能影響去留，該方案在洩露後被撤回，Yen 稱它已達成目的。多年付費並推薦 Proton 的作者因此首次表示不確定是否還該推薦這家隱私公司。
開源安全運營平台 Argus 發布，採用 MIT 許可、免費自託管，核心是讓 AI 代理以機器速度檢測並自動阻斷攻擊。它接入 AWS、Azure、GCP、Kubernetes、Okta、Entra、CrowdStrike 等服務，提供 27 個一鍵修復，並支援在 Slack 中一鍵批准或回滾。新版新增自主回應（未人工確認則按定時器自動回滾）、統一 AI 閘道器（用公司持有的金鑰代理 OpenAI 與 Anthropic 呼叫，含模型白名單與預算）以及影子 AI 發現。
馬斯克在 X 發文稱，追求真相（truth-seeking）是 AI 與超級智慧（SI）安全最重要的方面。原文僅此一句，沒有展開具體機制、監管路徑或時間表，也未點名任何模型、公司或政策。
一位電腦科學家在這篇評論中指出，AI agent 結合 Lean 等互動式證明助手，正在把希爾伯特百年前設想的「證明機器」變為現實，其對數學界的衝擊甚至超過希爾伯特綱領的失敗。他同時警告，程式設計領域已把不讀 AI 生成程式碼當成常態；而在 Curry-Howard 對應下程式與證明本質相同，放棄閱讀就等於放棄理解。他主張像數學家反覆簡化 AI 證明那樣，用抽象、重構與更高層語言把程式碼簡化到能裝進腦中。
Anthropic 開源可驗證推理系統 FlashProve，讓服務商在不公開模型權重的情況下，用零知識證明某條回答確實由指定模型生成。該系統在 4000 億引數的 Llama 4 Maverick 上測試，單張 H100 每秒可生成約 110 Token 的證明，每 1024 Token 請求的證明檔案約 19 MB，24 執行緒 CPU 驗證約需 17 秒。
Anthropic 起草了一份 AI 安全法案並推動國會採納：模型若帶來可預見且迫近的風險，如導致 50 人以上死亡或 10 億美元以上財產損失，其發布可被叫停。風險須源自製造生物武器、模型繞過開發者控制或網路攻擊。評估交由在美國商務部登記的獨立評估者，實驗室可為其付費但不得與結果掛鉤；認定風險後須 72 小時內上報商務部，再由商務部向華盛頓特區法官申請阻止發布，聯邦機構不得自行下架模型。這與加州已生效的 SB 53 門檻相近。
Collinear AI 發布 CWE-bench v2，公開 100 個針對真實開源倉庫的漏洞發現與修復任務，覆蓋 91 類 CWE，評分全部程式化、可復現，每道題另經人工複核並驗證能擋住對已知上游補丁的照搬。11 個受測模型中，Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 居首，Claude Opus 5.5 以 67.3% 緊隨；95 個任務至少被一個模型解出，但領先者仍有約 19% 的任務每次都失敗。
AI 推理服務商 Fal 完成 13 億美元 F 輪融資，估值達 160 億美元，是今年 4 月 80 億美元估值的兩倍。本輪由 Bessemer Venture Partners 領投，輝達、Sound Ventures 與 T. Rowe Price 參投；Fal 同時公布了由紅杉領投的 E 輪，兩輪合計融資 16.5 億美元。這家舊金山公司主要託管並執行影片、影像與音訊模型，今年早些時候年化收入已超過 8 億美元，需求主要來自依賴開源模型的客戶。
OpenAI CEO Sam Altman 在 2026 年 10 月 3 日發帖表示，人們對 AI 模型賦予宗教式力量或放棄人類判斷力的做法令他非常不安，並認為這是一個真實的安全問題。該表態未點名具體模型或產品，也未給出應對措施。
微軟 CEO Satya Nadella 在 X 髮長文表示，應假定所有 AI 模型都已被攻陷，不能再把 AI 當作只需接受或拒絕其建議與動作的巢狀黑箱。他主張建立可隔離、可觀測的透明體系，要求模型留下防篡改、人類可讀的證據，並呼籲及時披露事故、獨立審計與可驗證資料。這些建議多數與業界既有主張一致，但在隔離這一點上他給出了自己的看法。
Anthropic 宣布擴充套件 Cyber Verification Program（網路安全驗證計劃），讓經過驗證的安全專業人員能更廣泛地訪問其能力最強的模型。通過該計劃，驗證過的安全從業者可訪問 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5，並配有面向防禦性工作的安全防護措施。同時新增層級，允許開展經授權的攻擊性安全工作，例如滲透測試與紅隊演練。
Theranos 吹哨人 Tyler Shultz 警告，AI 熱潮是行騙的好機會。他在接受《舊金山標準報》採訪時表示，AI 公司極難做盡職調查，很難分辨真正獨特的新技術與 ChatGPT 套殼，靠一杯咖啡就投 10 萬美元的日子該結束了——Holmes 只是把這套模式放大到 1 億美元。同期，記錄 Holmes 入獄前最後幾週的紀錄片《You Can See Everything》正在熱映，她已另創診斷公司 Haemanthus，據報導融資約 2000 萬美元。
Anthropic 在修訂版 S-1A 的風險因素中警告，公司可能很快達到其《負責任擴充套件政策》對“遞迴自我改進”（RSI）的定義，即 AI 大幅加速自身研發進展。檔案承認過去曾用 AI 開發新模型而未及時識別能力躍升；但也強調目前沒有任何模型越過該門檻，並承諾在可預見的未來仍保持人類監督。同期披露的財務資料顯示收入快速上漲、支出同步走高。
數學家陶哲軒在 SAIR 演講中公開呼籲模型公司放慢數學研究節奏，稱 AI 無休止加速卻對後果一無所知，並稱之為 Proof Indigestion（證明消化不良）：AI 只在生成解答與 Lean 驗證上狂飆，理解、評審、寫入教科書幾乎停滯。此前他與 25 位菲爾茲獎得主聯名發表公開信，批評把數學當 benchmark 刷分。OpenAI 隨後回應，宣布在普林斯頓高等研究院設立數學與人工智慧顧問小組，但宣告寫明該小組不就數學上的內部進展提供建議。
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI（遞迴自我改進）論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料：AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%，Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
Check Point 藉助 OpenAI Daybreak，把漏洞研究相關工作從數小時壓縮到數分鐘。Daybreak 讓防禦方可以使用 OpenAI 的前沿網路安全模型，分析漏洞、推演攻擊路徑，並掃描程式碼與配置中的安全缺口；分析師據此更快產出防護簽名和入侵指標。Check Point 還在基於 Daybreak 開發 Agentic Network Security Orchestration，方案強調持續監控、明確操作邊界，並在關鍵操作前由人工審批；