找到 16 筆
llama.cpp 在 b11971 建置中為 OpenCL 後端新增面向 Adreno GPU 的分塊 q4_K GEMM，並讓 batch 大於 1 時的分塊 q4_K lm_head 通過分塊 GEMM 執行。改動還把分塊 dp4a q4_K GEMM 拆到獨立檔案，並補充 dp4a 測試；提交由 Qualcomm 工程師共同署名，標註 Codex 輔助。
llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。
llama.cpp 建置 b11558 修復了 OpenCL 後端處理 Q4_K 量化權重時的映象大小限制：當權重映象超出裝置限制時改為回退，而不是直接失敗。同一批提交還修正了 q4_0 的廣播邏輯，並避免 rms_norm 中出現不完整的子組計算，提交者來自高通（qti.qualcomm.com）。
llama.cpp 建置 b11685 合入 #29696，為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存（wide stores），以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。
llama.cpp 發布建置 b11604，為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援，補丁編號 #29219，提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件，這項改動面向支援該指令集的 Arm CPU，用於加速這兩種常用量化格式的矩陣乘法。同一版本中，macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED，openEuler 也有一項標註 DISABLED；
llama.cpp 建置版本 b11541 在 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心：kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin，分別處理 Q4_K、Q6_K 量化權重搭配 Q8_1 啟用的乘法，並用 dp4a 整數點積指令加速。這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
llama.cpp 建置 b11741 在 OpenCL 後端為 q4_0、q4_k、q6_k 三種量化格式加入 cooperative-k dp4a GEMM，並修復對齊問題。這意味著在 OpenCL 上執行這些 4bit、6bit 量化模型的裝置可以用上新的矩陣乘實現。該版本同時更新了 macOS、Linux、Windows、Android 多平台建置，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端。
llama.cpp 建置 b11763 為 OpenCL 後端補上多個面向小批次的 GEMM/GEMV 核心變體，並修復 mul_mv_mxfp4_f32_flat 的越界讀取。新增項包括 q4_k dp4a GEMM 的小批次變體、mul_mm_f16_f32_l4_lm 的窄化變體，以及大 M 時 gemv_noshuffle_q1_0_f32 的單 subgroup 變體，並按 workgroup 大小限制 q4_0 mc3 的 subgroup 數量。
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
llama.cpp 的 SYCL 後端把多種量化格式的反量化寫回改為向量化儲存，MXFP4 MoE 20B 模型預填充提升 57%（pp2048）到 61%（pp512）。改動覆蓋 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K、Q2_K、IQ3_XXS/IQ3_S 與 MXFP4，在 Arc Pro B70 上，重排佈局後的預填充分別提升約 6%–29%，其中 Q6_K 為 28.7%、IQ3 約 20%–21%。
llama.cpp 合併 PR #29817，修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題：當 imatrix 擬合的最小值塌縮為最大值或範圍極小時，會產生無窮、NaN 或越界值，傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax]，並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試，對應 issue #29804。
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
llama.cpp 發布 b12008，修復 Gemma 3n 與 Gemma 4 中 token_embd 表被重複存放的問題：改為先建立 token_embd，再建立與它繫結的輸出層。此前當輸入與輸出共用同一種緩衝型別，也就是純 CPU、-ngl 0 執行時，同一張表會被存兩份。實測 gemma-4-E2B-it Q4_K_M 在關閉 mmap 的情況下，CPU 模型緩衝從 3163.73 MiB 降至 2947.73 MiB，省約 216 MiB。
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。