llama.cpp releasesAI 評分42
llama.cpp 對 MoE amax 架構停用 -sm tensor 張量拆分
llama.cpp 建置 b11858 起,對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分(#31081):amax 的 POOL_1D 歸約跨越整個 matmul 行,單個裝置無法從 axis-0 拆分中算出結果,因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
找到 3 筆;也可以試試 語意搜尋
llama.cpp 建置 b11858 起,對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分(#31081):amax 的 POOL_1D 歸約跨越整個 matmul 行,單個裝置無法從 axis-0 拆分中算出結果,因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
llama.cpp 建置 b11866 在 Metal 後端移除了 kernel_mul_mm_id 中對 src1 的二次冪重縮放。這項縮放已經被計算圖中按 expert-token 執行的 amax 縮放(#30861)取代,後者能在運算元執行之前把 MoE 下投影啟用維持在 f16 範圍內。
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子:沿中間維做 POOL_1D 最大值歸約得到縮放量,輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理,沿 axis 0 切分時變成各裝置複製的部分結果,從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回,並清理註釋。