llama.cpp server 修復共享字首截斷決策輸出
llama.cpp 建置 b12023 合併修復 #30482:server 端把共享決策字首限制到父任務與每個子任務第一個必需輸出位置為止。這樣當多個問題共享選項 token 時,決策輸出 embedding 仍能保留在最終 batch 中,不再被字首裁掉。
原標題:b12023
閱讀原文
| 評分 | 42 / 40(平均 41,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 建置 b11512 修復 DFlash 輸出頭共享
llama.cpp 發布建置 b11512,首要改動是修復 DFlash 模型的輸出頭共享問題。該版本改為從 GGUF 後設資料讀取繫結的輸出權重、共享繫結的詞嵌入後設資料,並移除 DFlash 嵌入頭回退邏輯,這幾項改動均由 Codex 協助完成。
llama.cpp 修復特殊 token 轉義導致的 server 崩潰
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>",libstdc++ 會按名字的每個字元遞迴,輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧,程序以 SIGSEGV 退出。
llama.cpp server 拒絕部分媒體截斷
llama.cpp 發布 b11415,其 server 端現在會拒絕部分媒體截斷(partial media truncation)的請求。此次提交只保留 keep_first 修復,去掉了 mtmd 測試輔助改動——clip_image_f32_batch 改為按值儲存條目後該改動已無法編譯;同時刪除視覺測試,因為沒有測試夾具能在複用快取的情況下切到兩個相鄰媒體塊之間,該測試與修復本身無關。
llama.cpp 修復 server 因 n_batch 超限導致的 abort
llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。
llama.cpp 修復 Qwen3-Coder 解析,推理內容在模板分隔符前截斷
llama.cpp 建置 b11951 修復了 Qwen3-Coder 的聊天解析問題:在模板分隔符出現前就停止提取 reasoning 與正文,並清理解析結果末尾的空白字元;同時新增對生成末尾部分字首匹配的處理,並移除了聊天會話測試中的 Qwen 解析器用例。該版本覆蓋 macOS、Linux、Windows、Android 等多平台預編譯包,CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端均在列。