搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/25 23:31AI 評分56

llama.cpp 修復語法取樣：超長 token 不再被誤拒

llama.cpp 修復了啟用語法（grammar）取樣時長 token 被誤判拒絕的問題。此前 llama_grammar_reject_candidates_for_stack 的深度限制按 token 的碼點數計算，凡是 256 字元及以上的 token 在 grammar 下都會被拒絕，例如 GLM-4.7-Flash 的 512 空格 token 和 Laguna-S-2.1 的長空格 token。

地端推論開源 llama.cpp grammar sampling 遞迴深度限制 PEG parser 效能最佳化

閱讀原文

llama.cpp releases10/7 13:24AI 評分50

llama.cpp 發布 b11472：零溫度取樣改用貪心選擇

llama.cpp 發布建置 b11472，對符合條件、溫度為零的取樣鏈改用貪心選擇，CPU 與 grammar/reasoning-budget 路徑共用同一套貪心判定；動態溫度和顯式請求機率的場景仍保留分佈取樣，最終 top-k 且 k=1 之後也走貪心。改動由 Georgi Gerganov 參與，OpenAI Codex 協助，並在現有 sampler 測試中覆蓋常見取樣器選擇與機率行為。

地端推論開源 llama.cpp sampling greedy selection temperature-zero OpenAI Codex

閱讀原文