搜尋：ARGMAX

llama.cpp releases10/22 01:30AI 評分41

llama.cpp b11804 為 OpenCL 後端補上 ARGMAX 運算元

llama.cpp 發布 b11804 建置，為 OpenCL 後端新增 F32→I32 的 ARGMAX 運算元（#30897），並把 OpenCL 初始化改為置 0，與 CPU 後端保持一致。該提交有高通工程師參與協助。同版本預編譯包覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp OpenCL ARGMAX 建置發布 Snapdragon

閱讀原文

llama.cpp releases● 精選10/3 02:38AI 評分69

llama.cpp 為草稿模型與 MTP 加入機率取樣

llama.cpp 合併 PR #27694，為 simple draft 與 MTP 推測解碼引入機率取樣：草稿端按機率取樣，目標模型用拒絕取樣驗證，並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交，隨各平台建置一同發布。

地端推論開源 llama.cpp 投機解碼拒絕取樣 MTP 版本更新

閱讀原文