llama.cpp releasesAI 評分45
llama.cpp 為 Adreno X1 新增 MxFP4 MoE 核心
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel（gemm_moe_mxfp4_q8_1_dp4a_ila_ldck），並在 X1E 上啟用 dp4a clc，用於加速驍龍裝置上的 MoE 模型推理。
搜尋
找到 6 筆
llama.cpp releasesAI 評分43
llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp releases● 精選AI 評分62
llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
llama.cpp releasesAI 評分42
llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
r/LocalLLaMA top of the dayAI 評分38
LocalLLaMA 討論：大模型用 IQ1_S 量化到底行不行
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
機器之心● 精選AI 評分76
螞蟻百靈開源 Ling-3.1-flash，主打長程複雜任務
螞蟻百靈於 10 月 15 日正式開源 Ling-3.1-flash，總引數約 560B、每 Token 僅啟用約 25B，上下文最高支援 1M Token，重點瞄準複雜任務與長程執行。據 Artificial Analysis 資料，其智慧指數 41，輸出約 210 Token/s，混合呼叫價格約每百萬 Token 0.19 美元；路由專家採用 MXFP4 量化後，權重從約 534GB 壓縮至 292GB，部署從 8 卡降至 4 卡。