搜尋：狀態回滾

llama.cpp releases10/28 00:01AI 評分59

llama.cpp 新增支援 LiquidAI LFM3-1.7B 與 LFM3-VL-2B

llama.cpp 合併 PR，加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base，並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度，同時補充 LFM3 的 Metal 融合基線測試。

地端推論開源 llama.cpp LFM3 本地推理開源模型支援

5 個來源 · 8 則報導閱讀原文

llama.cpp releases10/30 08:11AI 評分44

b12006: memory: refuse rollbacks past the snapshots of the last ubatch (#31368)

llama.cpp 建置 b12006 讓 recurrent 快取與 DSV4 快取拒絕超出上一個 ubatch 所保證快照的回滾。此前 seq_rm 允許回滾到 n_rs_seq 內的任意位置，即使該快照並非由上一個 ubatch 寫入；新邏輯下，n 個 token 的 ubatch（n <= n_rs_seq+1）只保證回滾到 n-1，更長的 ubatch 只保證 0，DSV4 的上限則是 min(n, n_rs_seq)，其快照由 ubatch 前的狀態重建。

地端推論開源 llama.cpp 狀態回滾 recurrent memory DSV4 ubatch

閱讀原文