找到 9 筆
llama.cpp 修復了以 qwen4exp 為目標模型時 DFlash 草稿模型在首個請求即中止的問題。原因是 qwen4exp 把 hc-wide 殘差以 [n_embd, hc, n_tokens] 三維形式發布為 t_layer_inp，而 drafter 按 [n_embd, n_tokens] 兩維讀取，寬度與 llama_context 中按 n_embd * n_batch 分配的緩衝區不符，在 extract_layer_inputs 處直接失敗。
llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；
llama.cpp 建置 b11721 在 CUDA 後端把 Qwen4Exp 的 SCALE → SIGMOID → SCALE → hc_post 鏈融合成單個 kernel，由四個 kernel 縮減為一個，程式碼移植自 Vulkan 的 HC_POST_GATE 融合（#29520）。實現上 dsv4_hc_post_f32 新增 gated 模板標誌，直接用原始權重計算 scale_out·sigmoid(scale_in·p)；
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 的 CUDA 後端重做 top-k 演算法選擇，大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel，在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次，耗時從 5,761.8 ms 降到 941.8 ms。
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp b11800 為 QSA 新增融合運算元，並將原本只服務 qwen4exp 與 glm5-next 池化選擇的 k-pool mask 推廣為通用 ggml_top_k_mask，DSA 模型與 DeepSeek V4 CSA 也改用該運算元。它保留 top-k 選中與額外保留的 mask 單元、其餘置為 -inf，可按 head 逐行選擇，後端不支援時回退原路徑。
llama.cpp 發布 b11412，修復 k-pool 模型（qwen4exp、glm5-next）解碼時意外重新預留計算圖並中止的問題。原因是兩模型按 cache_safe、n_tokens 等 reserve 無法預知的狀態分支，解碼圖與預留圖節點數不一致（如 7564 對 7762），解碼時被迫按當前狀態重預留、丟掉最壞情況尺寸，在 GGML_SCHED_DEBUG_REALLOC=1 下直接 abort。
llama.cpp 的 Metal fusion 基線測試現在會把執行未復現的基線行判為迴歸：此前報告只由本次執行產生的計數器生成，基線僅作查詢表，fusion 停止匹配就不會產生行、也不會被比對，qwen4exp 與 mellum 正是在 Fusion/metal 任務仍為綠的情況下丟掉 fusion。重錄後的 MTL 基線為 276 行、覆蓋 131 個 dummy 模型；