llama.cpp 修復 Qwen3-Coder 解析,推理內容在模板分隔符前截斷
llama.cpp 建置 b11951 修復了 Qwen3-Coder 的聊天解析問題:在模板分隔符出現前就停止提取 reasoning 與正文,並清理解析結果末尾的空白字元;同時新增對生成末尾部分字首匹配的處理,並移除了聊天會話測試中的 Qwen 解析器用例。該版本覆蓋 macOS、Linux、Windows、Android 等多平台預編譯包,CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端均在列。
原標題:b11951
閱讀原文
| 評分 | 38 / 38(平均 38,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b12019 修復 Qwen3-Coder 思考塊處理
llama.cpp 發布 b12019,chat 模組修復 Qwen3-Coder 在 reasoning_format 設為 none 時的 think 塊處理:會剝離回應中的思考塊,同時也相容帶 think 塊的回應格式,並預先定義兩種 think 塊變體。其餘改動集中在建置產物:macOS Apple Silicon 的 KleidiAI 版本被停用,新增 Ubuntu 26.04 s390x(CPU、zDNN)等目標,openEuler 建置整體關閉。
llama.cpp 修復截斷後溫度大於 0 時 n-gram 草稿被拒的問題
llama.cpp 發布 b11387 版本,修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題(PR #29924),由 NVIDIA 的 Pranesh Gonegandla 參與提交。
llama.cpp 發布 b11391 版本,CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp 新增 maion-coder 架構支援
llama.cpp 發布 b11658 建置,新增對 maion-coder 模型架構的支援,並加入對 Draft 模型的推理支援,提交者包括微軟的 Karthik Vijayan。
llama.cpp 發布 b11390,修復 CUDA MMQ 記憶體錯誤
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。