Memorilla 用 16 個記憶 token 為凍結 LLM 做記憶
Memorilla 是一種面向凍結 LLM 的記憶系統:它先把文件一次性編碼為可複用的向量,再學習把每次查詢所需的資訊放進模型輸入的嵌入空間,只需 16 個記憶 token。在覆蓋個性化、長文件與知識密集型問答的八個基準中,它在五個上優於 Mem0、MemoRAG 等方案;在 FactKG 上準確率達 84.33%,超過全上下文推理的 80.43%,而表示源文件所用 token 少了 108 倍。
依意思最接近的 30 筆
Memorilla 是一種面向凍結 LLM 的記憶系統:它先把文件一次性編碼為可複用的向量,再學習把每次查詢所需的資訊放進模型輸入的嵌入空間,只需 16 個記憶 token。在覆蓋個性化、長文件與知識密集型問答的八個基準中,它在五個上優於 Mem0、MemoRAG 等方案;在 FactKG 上準確率達 84.33%,超過全上下文推理的 80.43%,而表示源文件所用 token 少了 108 倍。
南洋理工大學等機構在 NeurIPS 2026 發表 MemSkill,把新增、更新、刪除、跳過等記憶操作封裝為可學習、可複用、可進化的 Memory Skills,並用下游任務反饋最佳化技能選擇、根據失敗案例擴充技能庫。實驗在 LLaMA 與 Qwen 上覆蓋 LoCoMo、LongMemEval 與 ALFWorld,均取得最高 L-J 分數與 ALFWorld 平均成功率,且技能庫可跨模型、跨資料集直接遷移而無需重訓。
Anthropic 發布工程部落格,詳解 Claude 的智慧體記憶機制:其中“做夢”能幫 Claude 整理已學到的內容、糾正自身錯誤,並在下次需要時更容易找到目標資訊。文章發布在 Anthropic 研究頁面(components-of-agent-memory),說明記憶如何讓 Claude 從經驗中學習。
記憶張量開源 MemT 1.0 系列記憶原生模型,最大型號 Flash 總引數 288B、啟用 17B,較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支,把經驗編碼成可更新的內部矩陣狀態,據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中,Nano 三次全成功率由無經驗的 54.00% 升至 62.80%;
記憶張量發布並開源 MemT 1.0,稱其為業內首個記憶原生基座模型,歷史資訊被編碼為可更新的內部記憶狀態,隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash(288B 引數、17B 啟用、336M 動態記憶)與 Nano(36B 引數、3B 啟用、10M 動態記憶)。
免費開源的離線 AI 助手 Survival LLM 發布,AI 模型與應急資料庫都裝在本地,聯網完成設定後即可斷網使用,提問不會離開電腦。它會按電腦記憶體自動選擇模型,從 128GB 記憶體 Mac 上的 Nemotron 3.5 Super(80GB 下載)到 16–31GB 機型的 IBM Granite 4.2 8B(6GB)。
openJiuwen AgentMemory 0.2.0 上線多模態記憶能力 OmniMem-Lens,用視覺畫面與 ASR 語音雙流交叉對焦,把長影片切在真實事件邊界上並分層儲存,替代按固定時間視窗盲切。L1/L2 記憶單元已文字化、向量化,可接入主流向量資料庫;記憶離線建好,線上按語義匹配 L1/L2,僅在需要視覺核驗時調取 L0 原始幀。
llama.cpp 發布 b11583,主要改動是在「no cache」路徑下避免圖記憶體的重複分配(#30439),即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包,其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。
2026 年 10 月 3 日,一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG:把會話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶,讓 agent 工作前查閱 Markdown 文件、工作後更新,並稱已把這一思路做成外掛 Operator Memory,不使用向量資料庫和嵌入。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格,把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器,並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中,線性儲存器容量約 64 條,平方 ReLU 的 GLU 式 MLP 約 2700 條,採用固定縮放係數的自注意力理論容量約 120 萬條;1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
llama.cpp 合併 PR,加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base,並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度,同時補充 LFM3 的 Metal 融合基線測試。
llama.cpp 伺服器新增 --models-memory-max 引數,當已載入模型超過設定的記憶體上限時自動動態解除安裝。該限制以每臺裝置分別計算的記憶體餘量(margin)形式生效,載入前會把待載入模型的大小計入估算,並用 no_alloc 預估模型載入所需記憶體;只有在記憶體超限且沒有空閒模型可解除安裝時,才拒絕新的載入請求。此次還修正了兩個問題:測量子程序的記憶體統計偏差會使 --fit 下把其他程序佔用算成零,以及排隊載入被閾值阻塞時陷入反覆重試。
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存,並估算容量:在 64 維 key 下,線性層約存 64 條記憶,MLP 約 2700 條,自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質:儲存越多,鍵之間干擾越大,干擾等於訊號時達到容量;鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶,並配有互動式應用展示召回如何失敗。
Karpathy 稱 LLM 能力的認知差距正在擴大,從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人(75%)幾乎沒接觸過 LLM,10 至 20 億人(20%)只是偶爾用免費版聊天機器人,約 2000 萬人(0.2%)在數學與程式碼上親身使用前沿模型,過去要花數週數月的專案現在一個提示就能由 agent 完成。
Liquid AI 的 LFM3 系列模型已可在 Ollama 本地執行,覆蓋文字、視覺、音訊、omni 與決策模型。文字模型在 4-bit 量化下僅約 1 GB,上下文視窗 256K,官方定位是可隨處執行、並能在單張 GPU 上微調的小模型。
常駐型個人智慧體 Comma 公開了長期記憶的工程實現:每個工作區只保留一條主會話,所有 Agent 共享一份由快速決策模型 Jev 維護的事實清單,寫入前和每輪迴復後都由 Jev 判斷內容是否該共享、清單是否過時、Agent 是否偏離任務。團隊版按受眾劃分記憶,並用 Lean 實現的資訊流控制核心檢查每次對外傳送的讀者權限;等待外部事件由 Agent 自己編寫的 eBPF Loop 承擔,其記憶體隔離有約 4 萬行 Lean 證明。
Anthropic 公開 Claude 的 agent 記憶設計:會話中把關鍵事件標記並寫入記憶筆記,再利用互動間隙的 dreaming 反思日誌、糾錯並生成新筆記。CL-Bench 1.0 資料庫任務中,Sonnet 4.6 只留下零散未驗證猜想,Opus 4.7 把筆記整合成單一文件並標註已驗證項,Opus 5 首次閉環,條目含規則、依據與陷阱警告;Opus 5.5、Sonnet 5.5 同樣閉環,成績與 Opus 5 相當。
Ollama v0.40.12 上線 Liquid AI 的 LFM3 小模型家族,面向本地 agent、工具呼叫與結構化輸出。1.7B 的 lfm3 支援 256K token 上下文,系列另有影像版 lfm3-vl、覆蓋 18 種語言語音的 lfm3-audio 與三模態的 lfm3-omni,以及 2B 的 d1 決策模型。本次 lfm3 與 d1 2b 已支援 Apple 硬體,Linux/Windows 稍後跟進。
llama.cpp 發布 v0.8.0,新增 LiquidAI LFM3 模型家族,包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B,並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點,實現 OpenAI realtime 協議,用於即時對話與轉寫,另有 POST /tts 文字轉語音端點,推理努力等級也可通過 API 選擇。
HN 上一條提問帖討論 LLM 何時能接管軟體架構設計、不再需要人類留在設計環節。發帖者認為程式碼、數學這類有明確對錯的任務已被充分 RL,下一步就是讓 Anthropic、OpenAI 等收集好架構與壞架構的資料集做 RL;他提到 2024 年 LLM 還只是高階自動補全,如今業界已在談用 agent 搭「軟體工廠」,並判斷幾年內實際程式設計技能的需求會消失九成,產品負責人這類軟技能崗位更受青睞。帖子目前 9 分、3 條評論,屬觀點討論,沒有官方資訊。
llama.cpp 發布 b11884 建置,修復 DRY 取樣(dry sequence breaker)導致 CPU 與記憶體被耗盡的問題,對應 PR #31035。
一份互動式筆記上線,讀者通過修改輸入,就能觀察 Attention、強化學習、RLHF 與 LoRA 這些概念的變化。評測部分從「82% 是否真的比 80% 好」講起,涵蓋 exact match 與 F1、precision/recall、nDCG@k、pass@k、LLM as judge、成對偏好與 Elo、人工一致性與 kappa,並延伸到 RAG 評測、agent 評測、線上 A/B 測試以及資料汙染與 Goodhart 陷阱。
vLLM 0.31 新增服務端開關,啟用約束解碼後工具呼叫的 schema 準確率可達 100%。此前用 vLLM 0.28 部署 Kimi K2.6 時,只有 92% 的工具呼叫符合預期結構,相當於每 25 次就有 2 次失敗。該特性對新版 Kimi 與 DeepSeek 模型可保證輸出遵循 schema,主要影響依賴多輪工具呼叫的 agent 負載。
Rich Hickey 發表短文《'AI' Is Not a Tool》,主張 LLM 不是可被揮舞的工具,而是自動化:它自行行動,使用者只發出請求,沒有持續控制,也沒有感官反饋。他以用 LLM 讀論文為例,指出是它讀了而不是你讀了,讀者因此錯過學習寫作、組織論證、發現細節乃至學習思考的機會。他強調工具不會失控或叛變,而自動化有著與工具不同、忽視不得的固有屬性。
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena,論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖,把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示,存得多不等於用得好:M2A 記憶召回率 86.83%,問答正確率僅 50.14%;
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
Liquid AI 發布 LFM2.5-24B-A2B:24B 引數、每 token 僅啟用 2B 的推理模型,面向端側私有 agent,權重開放,已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型,上下文從 32K 擴至 131K,詞表由 65K 翻倍到 128K,預訓練從 17T 擴到 33T token。
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理,並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果,而 LLM 的思維鏈仍只是預測下一個 token,缺少可檢查的認知狀態、知識與推理的分離,且常事後編造解釋。Yann LeCun 表示讚賞,認為真正推理必須涉及搜尋。