搜尋：測試修復

llama.cpp releases10/20 08:21AI 評分36

llama.cpp 測試修復：MoE 路由選擇不再受後端噪聲干擾

llama.cpp 建置 b11752 的兩項改動都集中在測試程式碼：MoE 路由選擇加入 step 2 的偏置斜坡，讓每個專家擁有獨立的分數區間，使 top-k 只由專家索引決定，避免後端浮點噪聲把 token 路由到不同專家。此前只有 Beam 架構（8 個專家用 2 個、4 組用 2 個）會撞上這個問題，在 M2 Ultra 上 20 個種子有 2 個失敗、logits 相差 4e-3；修復後 160 個種子全部與 CPU 參考值吻合在 4e-7 以內。

地端推論開源 MoE Apple Silicon Metal 單元測試本地推理

閱讀原文

llama.cpp releases10/27 08:21AI 評分36

llama.cpp b11922 修正多序列回放與 partial state 測試

llama.cpp 發布 b11922，主要修正是讓多序列 split replay 與 partial state 的測試在已訓練模型上成立。原測試中回滾快照與參考上下文的 batch 形狀不同，狀態末位差異會被模型逐 token 放大；現在只比較每條序列的首個重放 token，並在 seq-1 的 tail 前把回滾狀態載回參考上下文。

地端推論開源 llama.cpp KV cache SWA 測試修復 split replay

閱讀原文