AISpot

llama.cpp b12019 修復 Qwen3-Coder 思考塊處理

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b12019，chat 模組修復 Qwen3-Coder 在 reasoning_format 設為 none 時的 think 塊處理：會剝離回應中的思考塊，同時也相容帶 think 塊的回應格式，並預先定義兩種 think 塊變體。其餘改動集中在建置產物：macOS Apple Silicon 的 KleidiAI 版本被停用，新增 Ubuntu 26.04 s390x（CPU、zDNN）等目標，openEuler 建置整體關閉。

llama.cppQwen3-Coderthink blockreasoning_format

原標題：b12019
閱讀原文

評分42 / 42（平均 42，門檻 60）
狀態未入選

原文

chat : strip the think block in the qwen3-coder with reasoning_format none ( #31380 ) chat : accept the think block in the qwen3-coder response format with reasoning_format none Assisted-by: Claude Opus 5.5 chat : define both qwen3-coder think block variants up front Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/62045373 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu 26.04 s390x (CPU) Ubuntu 26.04 s390x (zDNN) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分38

llama.cpp 修復 Qwen3-Coder 解析，推理內容在模板分隔符前截斷

llama.cpp 建置 b11951 修復了 Qwen3-Coder 的聊天解析問題：在模板分隔符出現前就停止提取 reasoning 與正文，並清理解析結果末尾的空白字元；同時新增對生成末尾部分字首匹配的處理，並移除了聊天會話測試中的 Qwen 解析器用例。該版本覆蓋 macOS、Linux、Windows、Android 等多平台預編譯包，CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端均在列。

地端推論開源llama.cppQwen3-Coderchat parser推理內容解析版本更新
閱讀原文
llama.cpp releasesAI 評分48

llama.cpp 修復 Ling 3.0 解析器忽略 json_schema 的問題

llama.cpp 合併 PR #29813，讓 Ling 3.0 解析器開始遵循 inputs.json_schema。此前 Ling 3.0 只為工具呼叫建置語法，response_format 請求不受約束；新實現加入優先於工具的回應格式語法路徑，並在啟用思考時要求先輸出 think 塊、JSON 回應後不允許追加散文。該修復對應 issue #29652，隨新版建置覆蓋 macOS、Linux、Windows、Android 等平台。

開發工具地端推論llama.cppjson_schemaLing 3.0grammarresponse_format
閱讀原文
llama.cpp releasesAI 評分45

llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

地端推論開源llama.cppCUDABF16FP16cuBLAS
閱讀原文