AISpot

搜尋

找到 1 筆;也可以試試 語意搜尋

機器之心● 精選AI 評分77

清華八卦爐 2 論文入選 SC26,萬卡 MoE 訓練吞吐提升 1.14 倍

清華大學翟季冬團隊的大模型訓練系統八卦爐 2(BaGuaLu-2)論文被 SC26 錄用,它用執行時自適應替代靜態的重計算與啟用解除安裝配置,把 MoE 訓練中的視訊記憶體尖峰壓在裝置上限以內。在 128 到 12,288 張海光 DCU 上訓練 188B 至 1.04 萬億引數模型,平均吞吐比基線高 1.14 倍,12,288 卡下總吞吐 2.012 EFLOPS、平均 MFU 32.9%(最高 35%),單次排程決策開銷低於 10 ms。