llama.cpp b11884 修復 DRY 取樣耗盡 CPU 與記憶體
llama.cpp 發布 b11884 建置，修復 DRY 取樣（dry sequence breaker）導致 CPU 與記憶體被耗盡的問題，對應 PR #31035。
原標題：b11884
閱讀原文
| 評分 | 45 / 40（平均 42，門檻 60） |
|---|
| 狀態 | 未入選 |
|---|
原文
llama: fix exhausting CPU and MEM caused by dry sequence breaker ( #31035 )
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/59663486
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分43
llama.cpp 建置 b11530 修正了後端取樣圖的拓撲問題：現在每個 sampler 都建置 n_outputs_max_per_seq 條取樣鏈，使取樣圖在不同 ubatch 之間保持靜態。此前 reserve 階段按每個 sampler 建鏈，而 decode 階段按每行輸出建鏈，圖拓撲因此變化，導致 GGML_SCHED_NO_REALLOC 建置在下一次遇到同尺寸圖時中止。
llama.cpp releasesAI 評分37
llama.cpp 發布建置版本 b11390，主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障（#29941）。
llama.cpp releasesAI 評分50
llama.cpp 發布建置 b11472，對符合條件、溫度為零的取樣鏈改用貪心選擇，CPU 與 grammar/reasoning-budget 路徑共用同一套貪心判定；動態溫度和顯式請求機率的場景仍保留分佈取樣，最終 top-k 且 k=1 之後也走貪心。改動由 Georgi Gerganov 參與，OpenAI Codex 協助，並在現有 sampler 測試中覆蓋常見取樣器選擇與機率行為。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11387 版本，修復了在截斷後溫度大於 0 時 n-gram 草稿被拒絕的問題（PR #29924），由 NVIDIA 的 Pranesh Gonegandla 參與提交。
llama.cpp releases● 精選AI 評分69
llama.cpp 合併 PR #27694，為 simple draft 與 MTP 推測解碼引入機率取樣：草稿端按機率取樣，目標模型用拒絕取樣驗證，並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交，隨各平台建置一同發布。