llama.cpp 按專家 token 縮放 MoE 下投影，MoE 架構停用 tensor 拆分
先了解這件事AI 綜述
10 月 21 日至 24 日，llama.cpp 連續三個建置（b11785、b11858、b11866）圍繞 MoE 下投影的 amax 縮放做了一組改動。b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子，沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原；並在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，使沿 axis 0 的切分變成各裝置複製的部分結果，從而支援張量並行。僅三天後，b11858 對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分，原因是 amax 的 POOL_1D 歸約跨越整個 matmul 行，單個裝置無法從 axis-0 拆分中算出結果，並刪除了 Meta 側報告為 MIRRORED 的 split-state 分支。b11866 在 Metal 後端移除 kernel_mul_mm_id 中對 src1 的二次冪重縮放，稱其已被計算圖中按 expert-token 的 amax 縮放取代，可讓 MoE 下投影啟用在運算元執行前維持在 f16 範圍內，同時刪除相應的兩級歸約 kernel、scratch buffer、GGML_PREC_F32 排程及相關測試用例。對用 llama.cpp 跑 MoE 模型並嘗試跨裝置張量並行的人來說，需要確認目標架構是否已落在停用 -sm tensor 的範圍內。
AI 根據 3 則報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
沒有符合條件的報導。
本事件熱度走勢
為什麼熱
過去 48 小時，有 0 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.0。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
事件紀錄
- 最早報導
- 最近更新
同一事件的報導集中在這裡，新的進展會繼續補充。