Softmax 與交叉熵被曝兩處精度 Bug，DeepMind 給出修復方案
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug，並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零，bf16 與 fp32 的觸發臨界約為 5.5 與 16.6，修復後模 31 加法實驗準確率由 94.3% 升至 100%。
指出連 Softmax、交叉熵這類基礎運算元也存在可修復的精度缺陷，給出精度懸崖的具體閾值與訓練實測數字，並附 JAX 參考實現，對自寫訓練與蒸餾程式碼的人最有用。
原標題：PyTorch、JAX都被点名！Softmax曝出隐藏Bug，Gemini立功
閱讀原文
| 評分 | 78 / 82（平均 80，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp 修復 ggml-cpu 中 soft_max_back 別名輸出錯誤
llama.cpp 合併 PR #27096，修復 ggml-cpu 後端 GGML_OP_SOFT_MAX_BACK 在 dst 與 src1（y）別名時輸出靜默錯誤的問題：原實現先覆蓋 y 再讀取，導致結果錯誤。補丁改為單次融合迴圈，先讀兩個輸入再寫出，並新增迴歸測試強制觸發該別名。CUDA 核心因先完成歸約再寫出，不受影響。
llama.cpp 修復 MiniMax-M3 量化 scale 未傳入計算圖導致輸出亂碼
llama.cpp 修復了 MiniMax-M3 的量化 scale 未轉發到計算圖、導致輸出變成亂碼的問題。minimax-m3.cpp 此前沒有把逐專家的 NVFP4 scale2 張量，以及稠密 FFN 和共享專家的 MXFP8 逐張量 scale 傳入圖；
@GoogleDeepMind
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗，169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
@GoogleDeepMind: Together with scientists around the world, our models and tools are helping make disease more detec…
Google DeepMind 表示正與全球科研人員合作，用其模型與工具讓疾病更易被檢出、治療和預防。推文點出的方向包括定位罕見基因變異、加速藥物研發，並稱這些工作正把實驗室突破轉化為現實臨床護理。原帖僅附一條連結，未披露具體模型、資料或時間表。