AISpot

llama.cpp server 修復共享字首截斷決策輸出

llama.cpp releases版本更新地端推論開源

llama.cpp 建置 b12023 合併修復 #30482:server 端把共享決策字首限制到父任務與每個子任務第一個必需輸出位置為止。這樣當多個問題共享選項 token 時,決策輸出 embedding 仍能保留在最終 batch 中,不再被字首裁掉。

原標題:b12023
閱讀原文

評分42 / 40(平均 41,門檻 60)
狀態未入選

原文

server: cap shared decision prefixes at the first output ( #30710 ) Limit the shared prefix to the first required output position of the parent and each child task. This keeps decision output embeddings available in the final batch when questions share option tokens. Fixes #30482 Signed-off-by: aiqubits [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/62175271 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu 26.04 s390x (CPU) Ubuntu 26.04 s390x (zDNN) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分53

llama.cpp 修復特殊 token 轉義導致的 server 崩潰

llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>",libstdc++ 會按名字的每個字元遞迴,輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧,程序以 SIGSEGV 退出。

llama.cpp releasesAI 評分45

llama.cpp server 拒絕部分媒體截斷

llama.cpp 發布 b11415,其 server 端現在會拒絕部分媒體截斷(partial media truncation)的請求。此次提交只保留 keep_first 修復,去掉了 mtmd 測試輔助改動——clip_image_f32_batch 改為按值儲存條目後該改動已無法編譯;同時刪除視覺測試,因為沒有測試夾具能在複用快取的情況下切到兩個相鄰媒體塊之間,該測試與修復本身無關。

llama.cpp releasesAI 評分20

llama.cpp 修復 server 因 n_batch 超限導致的 abort

llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。

llama.cpp releasesAI 評分38

llama.cpp 修復 Qwen3-Coder 解析,推理內容在模板分隔符前截斷

llama.cpp 建置 b11951 修復了 Qwen3-Coder 的聊天解析問題:在模板分隔符出現前就停止提取 reasoning 與正文,並清理解析結果末尾的空白字元;同時新增對生成末尾部分字首匹配的處理,並移除了聊天會話測試中的 Qwen 解析器用例。該版本覆蓋 macOS、Linux、Windows、Android 等多平台預編譯包,CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端均在列。