r/LocalLLaMA top of the day10/2 19:47AI 評分59
llama.cpp 新 PR：CUDA 把共享專家融合進 MMVQ
llama.cpp 的 PR #29184 在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構提速。評論區稱 token 生成速度最多提升約 5%，且只對 Qwen 35B A3B 這類 MoE 架構有效。
搜尋
找到 3 筆
MLX releases● 精選8/25 11:58AI 評分70
v0.32.2
MLX v0.32.2 發布：NAX 裝置新增 head_dim 256 的融合全注意力路徑，量化 MOE matmul 跳過多餘的 simdgroup 計算。同時修復 divmod 浮點商截斷、median 丟棄 NaN、量化切片陣列等問題，並限制 GGUF 後設資料讀取邊界。
Ollama blog● 精選8/11 01:00AI 評分90
NVIDIA Nemotron 3.5 Lightning 上架 Ollama，支援 MLX 本地執行
NVIDIA 的 30B 開源模型 Nemotron 3.5 Lightning 已在 Ollama 上線，可完全在本地裝置執行，每 token 僅啟用 3B 引數。它支援最長 1M token 上下文，靠推測解碼實現最高 4 倍吞吐。用 ollama launch 即可接入 Claude Code、OpenCode，Apple Silicon 對應 30b-mlx 版本。