搜尋

llama.cpp 為投機解碼加入機率取樣與拒絕取樣

llama.cpp 合併 PR #27694，把 simple draft 與 MTP 的投機解碼改為機率取樣，目標模型用拒絕取樣驗證草稿 token。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，並支援在拒絕取樣中處理語法約束。同時修復了草稿取樣器與目標模型共用 rng 流、掩碼後分布未重歸一化等問題，並隨草稿一起截斷候選。