機器之心● 精選AI 評分80
Softmax 與交叉熵被曝兩處精度 Bug，DeepMind 給出修復方案
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug，並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零，bf16 與 fp32 的觸發臨界約為 5.5 與 16.6，修復後模 31 加法實驗準確率由 94.3% 升至 100%。
搜尋
找到 3 筆；也可以試試 語意搜尋
機器之心● 精選AI 評分78
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；
Hugging Face blog● 精選AI 評分83
PyTorch 2.15 為 MPS 加入 FP8，MoE 解碼提速 5–6.5 倍
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援，並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s，LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s，詞表 softmax 約快 8 倍。