llama.cpp releases● 精選10/3 03:38AI 評分80
llama.cpp 為投機解碼加入機率取樣與拒絕取樣
llama.cpp 合併 PR #27694，把 simple draft 與 MTP 的投機解碼改為機率取樣，目標模型用拒絕取樣驗證草稿 token。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，並支援在拒絕取樣中處理語法約束。同時修復了草稿取樣器與目標模型共用 rng 流、掩碼後分布未重歸一化等問題，並隨草稿一起截斷候選。
搜尋
找到 2 筆
Ollama blog● 精選8/11 01:00AI 評分90
NVIDIA Nemotron 3.5 Lightning 上線 Ollama，可完全本地執行
NVIDIA 的 30B 總引數（3B 啟用）開源模型 Nemotron 3.5 Lightning 已上線 Ollama，可完全在本地裝置執行。它採用混合 MoE 架構，支援最長 1M token 上下文，並用多 token 預測、DFlash 或 DSpark 投機解碼，吞吐達同類開源模型 4 倍、任務完成時間快 30%，面向呼叫工具、跑測試、檢索程式碼庫等長時 agent 任務。