Softmax 與交叉熵被曝兩處精度 Bug,DeepMind 給出修復方案
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug,並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零,bf16 與 fp32 的觸發臨界約為 5.5 與 16.6,修復後模 31 加法實驗準確率由 94.3% 升至 100%。
依意思最接近的 23 筆
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug,並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零,bf16 與 fp32 的觸發臨界約為 5.5 與 16.6,修復後模 31 加法實驗準確率由 94.3% 升至 100%。
川普推動把「人工智慧」改名為「超級智慧」,矽谷部分有影響力的人物正在跟進。馬斯克在川普表態數小時後即表示支援,並承諾把 SpaceXAI 更名為 SpaceXSI,是回應最快的一位。不過大眾仍普遍沿用 AI 這一說法。川普稱白宮認為「超級智慧」是更被接受、更準確的新術語。
OpenAI CEO Sam Altman 在 2026 年 10 月 1 日發帖表示,使用者應當能夠在任何需要的地方使用自己的 AI 訂閱。該表態未說明具體產品、實施方式或時間表,也未提及是否涉及跨平台或第三方應用。
蘋果與卡內基梅隆大學提出 SSR 框架,讓多模態搜尋 Agent 不再逐 token 生成自由形式推理,而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上,每輪推理延遲降低超過 90%,每題總推理延遲降低 28–54%,p95 推理延遲僅 0.07 秒;4B 模型平均成功率 61.37%,與同規模 SOTA 持平,2B 達 51.26%。推理選擇由模型自身打分完成,不需要額外分類頭,也可跳過 SFT warm start 直接接 RL 訓練。
llama.cpp 合併 PR #27096,修復 ggml-cpu 後端 GGML_OP_SOFT_MAX_BACK 在 dst 與 src1(y)別名時輸出靜默錯誤的問題:原實現先覆蓋 y 再讀取,導致結果錯誤。補丁改為單次融合迴圈,先讀兩個輸入再寫出,並新增迴歸測試強制觸發該別名。CUDA 核心因先完成歸約再寫出,不受影響。
llama.cpp 發布 b11731,ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化,提交者為 IBM 的 Aaron Teo,可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物,覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式第三方評測員並非解決模型安全問題的簡單答案,評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較,且目前絕大多數評測針對模型本身,對 harness 和完整 agent 的評測既少又昂貴;而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務,需要更多標準化。
OpenAI 的 Sam Altman 表示,6.1 Sol 是公司史上增長最快的模型,但在負載下曾出現回應偏慢的問題。他稱現在情況應該會好很多,暗示相關效能問題已得到改善。
OpenAI CEO Sam Altman 在 X 發帖稱「我們正進入發現的新紀元」,並附上 OpenAI 官網一則題為 Sharing AI progress in mathematics 的頁面連結。推文字身沒有給出更多說明,未披露涉及的具體模型、數學成果或時間表,資訊集中在所連結的頁面上。發帖時間為 2026 年 10 月 7 日。
TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。
Anthropic 於 10 月 16 日發布兩份報告:其內部 AI agent 工作時長在 2026 年 3 月已超過員工,到 8 月 agent 數量是員工的 6 倍,同期初級崗位與技術崗招聘佔比下降,人均程式碼、銷售與合同處理產出上升,瓶頸轉向人的注意力。第二份報告對比近 1.1 萬名美國成年人與 Anthropic 員工的調查:91% 的員工認為 AI 能在 2030 年前做出諾獎級發現,美國成年人中僅 39%;
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
OpenAI 可解釋團隊建立人 Nick Cammarata 髮長文稱,神經網路並非多義糾纏的黑箱,疊加(superposition)假說被看錯了,可解釋性可能很快被解決。他重查 InceptionV1 中同時回應貓臉與汽車前臉的神經元,發現二者共享 V 形特徵;對 Qwen3-32B 的初步審查顯示約 90% 神經元正負兩極各有一項主要工作,約 7% 有兩項,2%—4% 未理解,並在 Kimi K3 上做出已知首個萬億引數模型歸因圖。
哈爾濱工業大學(深圳)團隊的 STILL 被 NeurIPS 2026 接收,這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架:先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax,其餘交給線性注意力,並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化,16K 上下文下視訊記憶體削減 80%、預填充加速 83%;
Manifold AI 流形空間的 WorldScape R²SI 框架在機器人學習基準 RoboDojo 的 Agent Track 登頂,超過 GPT-6-Astra 與輝達 GR00T-N1.7。該框架由內外雙層 Agent 組成,內層執行任務,外層跨輪次復盤、修訂 Skill 並訓練 reactive model(WSP)。在 push_T 任務中,動作步數從首輪 723 步(超出 600 步預算)降至 596 步,再降至 389 步,降幅約 35%。
argmin.net 刊出文章,審視 OpenAI 聲稱能更快計算傅裡葉變換的數學方法。該帖在 Hacker News 上獲得 43 分、17 條評論,討論圍繞這一加速宣稱的數學依據是否成立。
Anthropic 在新加坡開設亞太第五個辦公室,並與新加坡數碼發展及資訊部簽署諒解備忘錄,合作涵蓋 AI 安全、安保與模型評估、AI 採用影響研究及公私部門負責任應用。按人口計,新加坡的 Claude.ai 使用量在 121 個國家中排第二,接近其人口規模預期的六倍;GovTech 已有逾 1500 名工程技術人員使用 Claude Code,Grab 的銷售助手 BriX 每季度節省約 4 萬小時。
llama.cpp 把 Hexagon 後端的 softplus 啟用從標量迴圈改為 HVX 向量實現,Snapdragon NPU 上的推理可因此加速。softplus_f32 與 tile_softplus_f32 統一呼叫新的 hvx_softplus_f32_aa(),複用後端已有的 hvx_vec_exp_f32 與 hvx_vec_log_f32,不引入新的數值近似。
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
Vercel 資料顯示,TypeSafe AI 的輕量決策模型 Jev 上線兩週內被 35% 付費團隊使用,覆蓋面接近第二名 Sonnet 5.5 的兩倍,是 Vercel 平台上普及最快的模型。Jev 於 9 月 15 日限量發布,通過限定候選輸出降低推理成本、提升速度,適合大批次資料分類,Vercel 已用它替換 GPT-6 Luna 做有害命令分類。
Jev 發布 33 天后熱度迅速消退,這篇評論借它批評 AI 行業靠營銷話術製造期待。文章指出 Jev 本質是通用分類器,宣稱不會幻覺、更快更便宜,但輸出仍會出錯,且已有開放權重模型在部分任務上價效比更高,並可在本地執行。作者還稱其非自迴歸決策模型思路早於 Jev 一年半出現,並由此質疑行業四年來的創新增量。