llama.cpp 合併上下文狀態測試並修復 Muse Spark 隨機失敗

先了解這件事AI 綜述

llama.cpp 於 10 月 13 日發布 b11596，把 test-save-load-state、test-recurrent-state-rollback、test-state-restore-fragmented 三項上下文狀態測試合併為單一二進位制 test-llama-context。三者原本各有 main、各自的模型迴圈與 token、比較輔助程式碼，跑一遍會重複載入同樣的模型。合併後以用例為單位，一次執行覆蓋 130 多個模型：模型多執行緒載入（-j / --threads，預設取核心數與 4 的較小值），結果按表格輸出，每行一個模型、每列一個用例，單元格是該組合的判定，失敗模型的日誌在表格完成後按行序列印；測試不再使用 tests/testing.h，staging 也不再沿用。10 月 17 日的 b11712 修復了相關失敗：Muse Spark 會讓 test-llama-context 在約 6% 的隨機種子下於 state_load、cp_h、cp_d 失敗，NMSE 在 1.0e-05 至 1.4e-05 之間，閾值為 1.0e-05。滑動視窗是暴露點——恢復的狀態只保留視窗，SWA 層的注意力在不同單元格佈局上約減，續寫不再逐位一致；所有 SWA 模型都帶這一點，量級約 1e-08，而 Muse Spark 帶的是 1e-05，是隨機模型生成器把 1e-08 放大成了 1e-05。生成器對每個張量獨立取值，破壞了範數保持殘差門 alpha²+beta²=1 的約束，主幹與分支被獨立縮放，模型變成放大器，測試跑的並非真正的 Muse Spark。

AI 根據 2 則報導生成 · 10/17 15:00 更新

本事件熱度走勢

為什麼熱

過去 48 小時，有 0 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.0。

熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。

事件紀錄

最早報導

10/13 13:21

最近更新

10/17 14:04

同一事件的報導集中在這裡，新的進展會繼續補充。