機器之心● 精選AI 評分80
Softmax 與交叉熵被曝兩處精度 Bug，DeepMind 給出修復方案
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug，並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零，bf16 與 fp32 的觸發臨界約為 5.5 與 16.6，修復後模 31 加法實驗準確率由 94.3% 升至 100%。
找到 1 筆；也可以試試 語意搜尋
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug，並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零，bf16 與 fp32 的觸發臨界約為 5.5 與 16.6，修復後模 31 加法實驗準確率由 94.3% 升至 100%。