llama.cpp releasesAI 評分45
llama.cpp b12077 支援 GLM-5.3，修復多裝置 MLA 拆頭
llama.cpp 建置 b12077 加入 GLM-5.3（glm5-next）支援，可在 meta 後端跑 MLA 推理。由於 MLA 快取只有一個 KV head，多裝置時每張卡分到的頭數取決於 GQA 比例；HIP 上 D=512 的 tile FA kernel 要求該比例為偶數，三卡下 16 個頭被拆成 5/5/6 會直接中止，現已改為按對拆頭。
搜尋
找到 5 筆
llama.cpp releases● 精選AI 評分68
llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。
Hacker News front pageAI 評分52
自稱 Anthropic Mythos 級的 14T 引數檢查點被傳到 Hugging Face
一個名為 burner22/numbat 的 Hugging Face 倉庫上傳了自稱 Anthropic 下一代 Mythos 級訓練執行的檢查點：約 14 萬億引數、114 層，GDN/MLA 混合架構加 1,224 專家 MoE（top-48 加 1 個共享），NVFP4 格式共 772 個分片、約 7.72TB。
MLX LM releasesAI 評分55
v0.30.7
MLX 發布 v0.30.7，新增 GLM5 與 Qwen3.5 系列（不含視覺）支援，並修復 Kimi Linear、DeepSeek V3.2 索引器與權重載入問題。該版本為 LFM2 模型加入 Pythonic 工具呼叫，新增 Mistral 工具解析器與 LongCat MLA，同時提升 DeepSeek V3.2 生成速度，訓練流程中驗證集改為可選。
MLX LM releasesAI 評分42
v0.31.0
MLX 發布 v0.31.0，新增 Qwen 3.5 張量並行支援、JoyAI LLM Flash 模型，並加入 --prefill-step-size 命令列引數以權衡速度與視訊記憶體。該版本集中修復了 CacheList 儲存/載入、MLA 模型混合量化、MiniMax M2.5 分片 RMS Norm 等問題，同時改進服務端快取並新增 cached_tokens 用量欄位。