AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分43

llama.cpp 修復投機解碼下 logprobs 為空的問題

llama.cpp 建置 b11776 修復了服務端在開啟投機解碼(speculative decoding)時無法正確返回 logprobs 的問題:此前被接受的草稿 token 其 logprob 報為 0.0、top_logprobs 為空,現在改為返回目標模型的 logprobs。同時新增迴歸測試(#24271),把開啟草稿的執行與不開草稿的基線做對比,該測試在修復前的版本上失敗,應用 #27196 後通過。