OpenAI NewsAI 評分34
OpenAI 將聯手 Cathedral Systems 開展新一輪安全衝刺
OpenAI 宣布正在籌備下一輪內部安全衝刺，並將與 Cathedral Systems 合作，藉助 AI 測試並加固自身防禦。公告沒有披露這輪衝刺的具體時間、測試範圍與所用工具，只說明目標是用 AI 檢驗和強化安全防護。
搜尋
依意思最接近的 30 筆
量子位AI 評分41
中國電信邵廣祿：AI 安全是 AI 規模化應用的加速器
中國電信集團科技委主任邵廣祿在量子位撰文提出，AI 安全不是發展的剎車片，而是推動 AI 進入核心業務的加速器。文章歸納 AI 能力的六個變化：從回答問題走向自主呼叫工具、從單模型走向多智慧體、從輔助工具變成業務基礎設施、從閉源走向開源、從數字世界走向物理世界、競爭重心從訓練轉向規模化推理；風險也隨之從單點錯誤變為鏈式、湧現與外溢風險。作者給出“規模化應用=有效性×可靠性×安全性”的公式，建議安全能力內生化、重點攻關智慧體的身份與權限控制，並引入商業保險分擔剩餘風險。
機器之心● 精選AI 評分75
阿里資料團隊提出基準健康指數，為 158 個評測基準打分
阿里資料等團隊提出基準健康指數（BHI），從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分，論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首，Agents' Last Exam（53.08）和 AutomationBench（52.68）緊隨其後。研究基於 117 個模型的技術報告，用留一基準法估計模型能力，並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
Claude blogAI 評分47
Uber CISO 主張為 AI agent 建內部威脅計劃，並已開源 ADR 監控工具
Uber 首席資訊安全官 Philip Martin 提出，企業應為 AI agent 建立類似員工內部威脅計劃的監控機制。Uber 已開源 AI Detection and Response（ADR），用於採集 agent 執行時的即時遙測並在越界時即時干預，同時把 Anthropic 的 Enterprise Frontier Safeguards 作為資料來源接入其整體檢測體系。
Hugging Face blog● 精選AI 評分77
Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
TechCrunch AIAI 評分71
Anthropic 起草 AI 安全法案：可能導致 50 人死亡就可叫停模型發布
Anthropic 起草了一份 AI 安全法案並推動國會採納：模型若帶來可預見且迫近的風險，如導致 50 人以上死亡或 10 億美元以上財產損失，其發布可被叫停。風險須源自製造生物武器、模型繞過開發者控制或網路攻擊。評估交由在美國商務部登記的獨立評估者，實驗室可為其付費但不得與結果掛鉤；認定風險後須 72 小時內上報商務部，再由商務部向華盛頓特區法官申請阻止發布，聯邦機構不得自行下架模型。這與加州已生效的 SB 53 門檻相近。
TechCrunch AIAI 評分62
微軟總裁 Brad Smith 呼籲 AI 監管，稱英國最適合主導全球規則
微軟總裁 Brad Smith 在 BBC 播客上呼籲儘快制定全球 AI 安全規則，並稱英國比美國和歐盟更適合主導這件事。他希望落地的規則包括：系統被失控 AI agent 攻破須依法通報、AI 產品發布前需經外部評估者批准，以及可暫停或減速的 kill switch。他批評上月白宮與 OpenAI、Anthropic、Nvidia 等簽署的自願性檔案只能約束負責任的公司。
Hacker News front page● 精選AI 評分79
Anthropic 提議 AI 安全法案：50 人死亡或 10 億美元損失才觸發
Anthropic 提出一項 AI 安全法案提案，只有當 AI 模型造成 50 人死亡或 10 億美元損失時才會觸發。提案若落地，美國商務部將實質上成為唯一有能力叫停 AI 模型的機構。Tom's Hardware 於 10 月 18 日報導此事，Hacker News 上的討論已獲 74 分、71 條評論。按該門檻，未達到這一損害規模前，模型不受該法案約束。
機器之心● 精選AI 評分94
Google 發布 Gemini 4 Carbon，智慧指數登頂、網路安全全鏈路第一
Google 發布 Gemini 4 Carbon，在 Artificial Analysis 智慧指數 v5.0 以 59 分登頂，超過 Claude Opus 5.5 的 58 分和 GPT-6 Astra 的 57 分，距上代 Argon 發布僅兩週。它在網路安全三項基準均居首：漏洞發現 SEC-bench Pro 88.2%、漏洞驗證 ExploitGym 54.8%、漏洞修復 CWE-bench 71.0%。
Hacker News front page● 精選AI 評分76
研究：90% 美國工作時間對應任務缺乏 AI 基準覆蓋
一項覆蓋美國經濟的基準地圖研究顯示，90% 的美國工作時間花在現有 AI 基準幾乎未覆蓋的任務上。研究把美國勞工部 O*NET 的 923 個職業、18797 項任務與篩選出的 29 個基準做對映，只有 208 個職業、924 項任務被至少 5 條基準提示覆蓋，22 個職業大類中有 6 類完全空白。覆蓋分佈並不隨機，偏向高工資、大勞動力市場：同樣被判定易受 AI 影響的律師任務覆蓋充分，法律秘書、法庭書記員的任務卻幾乎沒有對應基準。
Hacker News front pageAI 評分32
Anthropic 發布 2026 年公共利益報告與章程
Anthropic 作為公共利益公司（PBC）發布 2026 年公共利益報告，並重申其章程：負責任地開發與維護先進 AI，以造福人類長遠利益。報告圍繞五大支柱展開，包括 AI 安全技術問題得到解決、AI 安全成為受法律兜底的普遍實踐、AI 強化民主與全球穩定、AI 擴大繁榮、AI 收益由所有人共享。聯合創始人兼總裁 Daniela Amodei 在引言中稱，安全可信地建置先進 AI 並非小眾議題或競爭差異點，而是讓收益落地的必要一步。
OpenAI NewsAI 評分42
LifeVal 基準發布：衡量 AI 完成日常事務的能力
LifeVal 是一個新的 AI 基準，用於衡量 AI 在多大程度上能幫人完成日常事務。公告列出的場景包括尋找托兒服務、管理個人財務以及處理政府文書。目前公開的只有基準的目標與覆蓋範圍，具體任務數量、評分方式和榜單結果尚未披露。
TechCrunch AI● 精選AI 評分83
Anthropic 警告即將觸及 RSI 閾值
Anthropic 在修訂版 S-1A 的風險因素中警告，公司可能很快達到其《負責任擴充套件政策》對“遞迴自我改進”（RSI）的定義，即 AI 大幅加速自身研發進展。檔案承認過去曾用 AI 開發新模型而未及時識別能力躍升；但也強調目前沒有任何模型越過該門檻，並承諾在可預見的未來仍保持人類監督。同期披露的財務資料顯示收入快速上漲、支出同步走高。
TechCrunch AIAI 評分56
Hugging Face 政策主管：嵌入式 AI 評測員難成現成方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
X @AnthropicAIAI 評分33
@AnthropicAI: We worked closely with AISI on this analysis.
Anthropic 表示與英國 AI 安全研究所（AISI）緊密合作完成了這項分析，AISI 已另行發布報告，內容是調查 AISI 一起事件中的對齊失效（alignment failures）問題。帖文未披露更多技術細節，僅給出 AISI 官網部落格的報告連結。
TechCrunch AIAI 評分65
Pluto Security 融資 4200 萬美元，監控企業 AI 工具風險
Pluto Security 結束隱身狀態，宣布獲得 4200 萬美元融資，含 Jump Capital 領投的 3400 萬美元 A 輪與 TLV Partners 領投的 850 萬美元種子輪。其平台監控員工使用的 AI 工具、agent、MCP 伺服器與擴充套件元件，並可在 agent 執行中攔截越權操作或注入指令要求確認。CEO 稱新 AI 工具發布兩小時內就會出現在企業環境裡，客戶中約 60% 的風險來自非開發者 vibe coding 出的應用，財務部門最多；
X @GoogleDeepMindAI 評分57
@GoogleDeepMind: As AI accelerates scientific discovery, we’re helping researchers keep pace by quickly authenticati…
Google DeepMind 發布了一套可快速驗證生物設計是否內建安全防護的工具，並以開放形式供研究使用。該工具面向科研人員，目的是在 AI 加速科學發現的同時不拖慢關鍵研究進度。官方未披露具體工具名稱、技術細節與適用限制。
Hacker News front page● 精選AI 評分86
安全公司用 AI 代理 12 小時內攻入 Anthropic 內部系統
網路安全初創公司 Cathedral 在 Anthropic 漏洞賞金專案的一次測試中，用 AI 代理在不到 12 小時內進入其內部系統，暴露了員工薪資、錄用通知、會議記錄和 Slack 訊息。Anthropic 確認被訪問的是部分銷售、人力和 IT 系統，涉及部分客戶與合作伙伴的業務聯絡方式，但客戶與 Claude 的對話、模型輸出、原始碼與權重未被觸及。Anthropic 稱監控在對方上報前已發現活動並當天關閉訪問，隨後停用相關第三方軟體並通報聯邦官員。
TechCrunch AIAI 評分70
白宮將 AI 正式更名為超級智慧並簽署安全承諾
白宮本週召集扎克伯格、貝索斯、馬斯克與 Anthropic 的 Dario Amodei 等主要科技公司 CEO，簽署了一份被川普稱為“道德約束力”的 AI 安全承諾。川普同時簽署行政令，正式將 AI 重新命名為“超級智慧”。與此同時，Meta 與 OpenAI 正在為各自的 AI 產品塑造更友好的形象。
Hacker News front pageAI 評分47
開源安全運營平台 Argus 發布，主打 AI 自主回應與 AI 閘道器
開源安全運營平台 Argus 發布，採用 MIT 許可、免費自託管，核心是讓 AI 代理以機器速度檢測並自動阻斷攻擊。它接入 AWS、Azure、GCP、Kubernetes、Okta、Entra、CrowdStrike 等服務，提供 27 個一鍵修復，並支援在 Slack 中一鍵批准或回滾。新版新增自主回應（未人工確認則按定時器自動回滾）、統一 AI 閘道器（用公司持有的金鑰代理 OpenAI 與 Anthropic 呼叫，含模型白名單與預算）以及影子 AI 發現。
X @samaAI 評分30
Altman 稱把 AI 模型當宗教是真實安全問題
OpenAI CEO Sam Altman 在 2026 年 10 月 3 日發帖表示，人們對 AI 模型賦予宗教式力量或放棄人類判斷力的做法令他非常不安，並認為這是一個真實的安全問題。該表態未點名具體模型或產品，也未給出應對措施。
TechCrunch AIAI 評分48
Ballistic Ventures 擬募資 4.9 億美元加碼 AI 安全
由 Ted Schlein 聯合創辦的網路安全風投 Ballistic Ventures 本週向 SEC 提交檔案，計劃通過兩隻新基金募資 4.9 億美元。其中第三期旗艦基金目標為 3.6 億美元，與 2024 年第二期旗艦基金規模相同；另一隻是名為 Ballistic Ventures Fund B 的基金，規模為 1.3 億美元。提交檔案時，這兩隻基金均未錄得任何銷售。該公司押注 AI 代理帶來更復雜的網路攻擊與新安全創業機會；
Ars Technica AI● 精選AI 評分76
Anthropic 提交 S-1，風險章節提及 AI 或敲詐人類、終結人類
Anthropic 在 IPO 前向 SEC 提交 S-1 招股書，其中 93 頁、逾 7 萬字的「風險因素」章節列出數百項潛在風險，包括 AI 可能敲詐人類、獲得自我意識乃至終結人類。這些風險還涵蓋競爭、成本、獲客與監管等常規項，媒體從中挑出七項最出人意料的要點，供潛在投資者參考。
TechCrunch AIAI 評分28
白宮 AI 安全承諾簽署，僅 2% 消費者付費
白宮召集扎克伯格、貝索斯、馬斯克、Anthropic 的 Dario Amodei 等主要科技 CEO 簽署 AI 安全承諾，川普稱其具有道德約束力。川普同時簽署行政令，正式將 AI 重新命名為超級智慧。與此同時，Meta 和 OpenAI 正為 AI 產品換上更友好的形象，但消費者中僅 2% 願意為此付費。
Anthropic News● 精選AI 評分73
Anthropic 啟動 Cyber Mission，免費掃描開源漏洞並支援關鍵基礎設施防禦
Anthropic 啟動長期計劃 Cyber Mission，首先聚焦關鍵基礎設施與開源軟體兩個方向的防禦。其中，關鍵基礎設施防禦計劃（CIDP）把前沿 Claude 模型、駐場工程師與威脅研究交給守護電力、水務、交通等運營技術（OT）的供應商，首批夥伴包括 CrowdStrike、Dragos、Palo Alto Networks、Rockwell、PwC 等 11 家。同時推出的 OSS Scanner 使用其最強模型為開源專案免費定期掃描漏洞；
Anthropic NewsAI 評分53
Anthropic 向 METR 開放員工級存取權限
10 月 15 日，Anthropic 宣布向非營利評估機構 METR 的團隊開放類似員工的存取權限，用於評估其系統安全性，並正與包括 Hugging Face 在內的多家機構初步洽談。該安排讓外部評估者更深入接觸前沿模型，屬於其政策頁面公布的最新安全評估舉措。同一頁面還列出 2026 年使用政策更新、對開放權重模型的立場，以及向 Public First Action 追加 2000 萬美元、累計 4000 萬美元等動態。
Hacker News front pageAI 評分50
開源基準 Parsimony 按語法單元統計 AI 新增程式碼量
Parsimony 是一個開源基準，用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁，統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數，並減去被刪除的程式碼，只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁，作者在自己的訂閱上跑了 3–10 個任務，結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
OpenAI NewsAI 評分26
Block 用 OpenAI 技術建置 AI 安全，補丁提報縮至分鐘級
Block 正藉助 OpenAI 技術建置 AI 安全能力，其安全團隊可以更快地調查威脅，並在幾分鐘內提出補丁。該訊息於 2026 年 10 月 14 日發布，公開內容只提到威脅調查與補丁提報兩個環節，未披露所用具體模型、部署規模與成本細節。
Anthropic NewsAI 評分46
Anthropic 在新加坡設亞太第五個辦公室，與新加坡數碼發展及資訊部簽 AI 安全 MOU
Anthropic 在新加坡開設亞太第五個辦公室，並與新加坡數碼發展及資訊部簽署諒解備忘錄，合作涵蓋 AI 安全、安保與模型評估、AI 採用影響研究及公私部門負責任應用。按人口計，新加坡的 Claude.ai 使用量在 121 個國家中排第二，接近其人口規模預期的六倍；GovTech 已有逾 1500 名工程技術人員使用 Claude Code，Grab 的銷售助手 BriX 每季度節省約 4 萬小時。
X @AnthropicAI● 精選AI 評分62
Anthropic 推出 Cyber Mission，保護關鍵基礎設施與開源軟體
Anthropic 宣布啟動 Anthropic Cyber Mission，一項旨在保護關鍵基礎設施與開源軟體的新計劃。該訊息由 Anthropic 官方帳號發布，並附官網公告頁面 anthropic.com/news/anthropic-cyber-mission；公告未披露具體投入金額、時間表或合作機構。