llama.cpp 新 PR 將共享專家融合進 MMVQ,部分 MoE 架構提速
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ,為部分 MoE 架構帶來提速,例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%,並指出僅對部分 MoE 架構有效。
依意思最接近的 5 筆
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ,為部分 MoE 架構帶來提速,例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%,並指出僅對部分 MoE 架構有效。
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。
llama.cpp 發布版本 b11370,主要變更是 CUDA 後端將共享專家(shared experts)融合進 MMVQ 運算元,並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置,其中 macOS Apple Silicon 的 KleidiAI 版本被停用,openEuler 建置也被停用。
AI 3D 生成公司 Meshy 披露,其 ARR 從 100 萬美元增長至 1 億美元,用時不到兩年,比 HeyGen 的 29 個月更快。Meshy 7 在自建幾何對齊基準中造型比例、空間分佈、表面細節三項指標領先受測模型,7.1 將幾何生成解析度從 2048³ 提升至 4096³。三七互娛已將其接入生產流程,基礎模型階段雕刻工作量減少 30% 至 40%。
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo(gfx1151、ROCm)打造,讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上,GLM 預填充 580 tok/s、解碼 26-30 tok/s,MiMo 解碼最高 44 tok/s(程式碼場景)。