llama.cpp releases官方
llama.cpp Metal 後端移除 MoE mul_mm_id 的 amax 重縮放
llama.cpp 建置 b11866 在 Metal 後端移除了 kernel_mul_mm_id 中對 src1 的二次冪重縮放。這項縮放已經被計算圖中按 expert-token 執行的 amax 縮放（#30861）取代，後者能在運算元執行之前把 MoE 下投影啟用維持在 f16 範圍內。
熱點事件 · 持續更新
最高 1.0
llama.cpp 按專家 token 縮放 MoE 下投影，MoE 架構停用 tensor 拆分
3 則報導1 個報導來源 更新
先了解這件事AI 綜述
10 月 21 日至 24 日，llama.cpp 連續三個建置（b11785、b11858、b11866）圍繞 MoE 下投影的 amax 縮放做了一組改動。b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子，沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原；並在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，使沿 axis 0 的切分變成各裝置複製的部分結果，從而支援張量並行。僅三天後，b11858 對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分，原因是 amax 的 POOL_1D 歸約跨越整個 matmul 行，單個裝置無法從 axis-0 拆分中算出結果，並刪除了 Meta 側報告為 MIRRORED 的 split-state 分支。b11866 在 Metal 後端移除 kernel_mul_mm_id 中對 src1 的二次冪重縮放，稱其已被計算圖中按 expert-token 的 amax 縮放取代，可讓 MoE 下投影啟用在運算元執行前維持在 f16 範圍內，同時刪除相應的兩級歸約 kernel、scratch buffer、GGML_PREC_F32 排程及相關測試用例。對用 llama.cpp 跑 MoE 模型並嘗試跨裝置張量並行的人來說，需要確認目標架構是否已落在停用 -sm tensor 的範圍內。
AI 根據 3 則報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
10月24日星期六 · 2 則
- llama.cpp releases官方
llama.cpp 對 MoE amax 架構停用 -sm tensor 張量拆分
llama.cpp 建置 b11858 起，對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分（#31081）：amax 的 POOL_1D 歸約跨越整個 matmul 行，單個裝置無法從 axis-0 拆分中算出結果，因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
10月21日星期三 · 1 則
- llama.cpp releases官方
llama.cpp 按專家 token 縮放 MoE 下投影，並支援張量並行
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
本事件熱度走勢
為什麼熱
過去 48 小時，有 0 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.0。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
事件紀錄
- 最早報導
- 最近更新
同一事件的報導集中在這裡，新的進展會繼續補充。