llama.cpp releases● 精選10/3 03:38AI 評分80
llama.cpp 為投機解碼加入機率取樣與拒絕取樣
llama.cpp 合併 PR #27694，把 simple draft 與 MTP 的投機解碼改為機率取樣，目標模型用拒絕取樣驗證草稿 token。新增開關控制機率草稿取樣，預設仍為貪心；語法約束請求回退到 argmax，並支援在拒絕取樣中處理語法約束。同時修復了草稿取樣器與目標模型共用 rng 流、掩碼後分布未重歸一化等問題，並隨草稿一起截斷候選。
搜尋
依意思最接近的 5 筆
r/LocalLLaMA top of the day10/3 08:00AI 評分62
LiquidAI 發布 LFM2.5-Encoder 350M 多語言編碼器
LiquidAI 發布 LFM2.5-Encoder，含 350M 與 230M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度任務。官方稱其吞吐量追平或超過 ModernBERT，CPU 長上下文更強，並可通過 WebGPU 在瀏覽器執行；GGUF 權重已發布，llama.cpp 支援 PR 已提交。
X @GoogleDeepMind10/1 18:11AI 評分42
@GoogleDeepMind: When AI-generated content has become so realistic, how do we verify what's made by human, machine, …
Google DeepMind 發布一期播客，討論 AI 生成內容逼真化後如何驗證內容來自人類、機器還是自然，核心手段是來源溯源與不可感知水印。節目時間軸顯示內容涵蓋水印定義、SynthID、影像與影片、SynthID Bio 以及未來韌性，其中 SynthID 部分從 4 分 35 秒開始，SynthID Bio 從 19 分 28 秒開始。
r/LocalLLaMA top of the day10/3 19:24AI 評分65
專精推理引擎興起，放棄通用性換極致效能
一批極窄用途的推理執行時正在出現，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 和 vLLM 擅長的通用性，只針對少數模型、有時甚至只針對一個硬體家族（如 Strix Halo）做最佳化。作者認為未來通用執行時負責相容性、一次性專精執行時負責最大效能將成為常態，這也有助於智慧的民主化與去中心化，並壓榨現有硬體的更多產出。
X @OpenAIDevs● 精選10/2 23:40AI 評分76
@OpenAIDevs: Your dot learns how you work, keeps context across apps, coordinates Codex tasks, and flags what ne…
OpenAI 開發者帳號發布 dot，它能學習使用者的工作方式、跨應用保留上下文、協調 Codex 任務，並標記需要使用者關注的事項。目前官方只給出這四項能力描述，未公布定價、可用平台與上線時間。