Memorilla 用 16 個記憶 token 為凍結 LLM 做記憶
Memorilla 是一種面向凍結 LLM 的記憶系統:它先把文件一次性編碼為可複用的向量,再學習把每次查詢所需的資訊放進模型輸入的嵌入空間,只需 16 個記憶 token。在覆蓋個性化、長文件與知識密集型問答的八個基準中,它在五個上優於 Mem0、MemoRAG 等方案;在 FactKG 上準確率達 84.33%,超過全上下文推理的 80.43%,而表示源文件所用 token 少了 108 倍。
依意思最接近的 30 筆
Memorilla 是一種面向凍結 LLM 的記憶系統:它先把文件一次性編碼為可複用的向量,再學習把每次查詢所需的資訊放進模型輸入的嵌入空間,只需 16 個記憶 token。在覆蓋個性化、長文件與知識密集型問答的八個基準中,它在五個上優於 Mem0、MemoRAG 等方案;在 FactKG 上準確率達 84.33%,超過全上下文推理的 80.43%,而表示源文件所用 token 少了 108 倍。
記憶張量發布並開源 MemT 1.0,稱其為業內首個記憶原生基座模型,歷史資訊被編碼為可更新的內部記憶狀態,隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash(288B 引數、17B 啟用、336M 動態記憶)與 Nano(36B 引數、3B 啟用、10M 動態記憶)。
南洋理工大學等機構在 NeurIPS 2026 發表 MemSkill,把新增、更新、刪除、跳過等記憶操作封裝為可學習、可複用、可進化的 Memory Skills,並用下游任務反饋最佳化技能選擇、根據失敗案例擴充技能庫。實驗在 LLaMA 與 Qwen 上覆蓋 LoCoMo、LongMemEval 與 ALFWorld,均取得最高 L-J 分數與 ALFWorld 平均成功率,且技能庫可跨模型、跨資料集直接遷移而無需重訓。
記憶張量開源 MemT 1.0 系列記憶原生模型,最大型號 Flash 總引數 288B、啟用 17B,較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支,把經驗編碼成可更新的內部矩陣狀態,據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中,Nano 三次全成功率由無經驗的 54.00% 升至 62.80%;
商湯大裝置日均 Token 服務量已達 6 萬億,並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集,用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU,並支援節點角色動態切換,在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離,後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
企業一度鼓勵員工儘可能多地使用 AI,即所謂的 #tokenmaxxing,隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱,其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量,而企業發現 token 很難統計,這讓 AI 預算幾乎無法編制。
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena,論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖,把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示,存得多不等於用得好:M2A 記憶召回率 86.83%,問答正確率僅 50.14%;
Anthropic 發布一套面向企業客戶的報表工具:管理者可以按時間段檢視團隊用 AI 做了什麼、產出多少、消耗多少 token、流程卡在哪裡,並獲得改進建議;這些資料預設不用於模型訓練。同時上線團隊共享預算池,用於管理 token 支出。Anthropic 披露 Claude Code 淨收入留存率達 900%;
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
Y Combinator CEO Garry Tan 在播客中透露,他每年為 AI agent 的 token 花費 10 萬至 20 萬美元,並稱這是並非人人都能負擔的特權。他用 agent 處理工作專案與編碼任務,還把 23 個 Claude Code 技能打包成 gstack 在 GitHub 公開。YC 內部另有一個名為 Stray Light 的 agent,掌握其投資過的所有創始人、所有申請與來信的上下文。他認為個人 agent 要走向主流,前提是成本先降下來。
2026 年 10 月 3 日,一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG:把會話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶,讓 agent 工作前查閱 Markdown 文件、工作後更新,並稱已把這一思路做成外掛 Operator Memory,不使用向量資料庫和嵌入。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
Percepta 公布新架構 Spotlight,用可讀寫記憶取代注意力機制,宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元,稀疏度可任意調節,不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離,模型權重不隨記憶增長而改變,可自行決定載入與覆寫,從而無需重訓練即可獲得新能力。
思科給一名 27 歲工程師不限量的 AI token 額度,要求他在 24 個月內重寫公司 98% 的遺留程式碼。這名工程師是前創業公司創始人,由公司總裁親自挑選,並被明確告知可以放手去做。該訊息來自 Tom's Hardware 的報導,沒有說明具體會使用哪些模型或工具,也沒有披露預算、團隊規模與驗收標準。
arXiv 新論文提出 Hybrid Reasoning Agents(HybridAgents),在隱空間推理與文字互動之間動態切換,token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7,效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換,連續工作記憶在多輪中保留無損混合上下文,既保留工具呼叫能力,也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法;
超聚變在 2026 OCP 全球峰會(10 月 12 日,美國聖何塞)展出 TokenBox 本地 AI 超級工作站,單機可支援最高 1.6 萬億引數模型,包含 DeepSeek V4 Pro,資料完全本地留存,企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統,並發表《Next-Generation Power & Cooling Solutions》主題演講,聚焦供電、散熱與互連。
Anthropic 發布一篇思想實驗文章,探討「每秒 100 萬 token」的四種含義:上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度,並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例,其上下文視窗為 100 萬 token,但單次請求輸出上限遠小於此。文章用互動計算器演示:若單智慧體達到每秒 100 萬 token,1000 個故事結局約 1 秒寫完,但加入 60 秒固定檢查後,端到端加速從 10000 倍降至 132.57 倍。
Sam Altman 在 Cheeky Pint 訪談中表示,個人把全球有限的 DRAM 留在自己電腦裡、只使用 5% 的時間,從全球分配角度看相當糟糕,雲端最大化利用率才是解法。他提到 OpenAI 獲准買下全球 40% 的 DRAM 產量,而美光已宣布退出消費級記憶體生產。OpenAI 還在自研代號 Jalapeno 的 AI 晶片,稱該晶片由 AI 為 AI 設計。
llama.cpp 發布 b12008,修復 Gemma 3n 與 Gemma 4 中 token_embd 表被重複存放的問題:改為先建立 token_embd,再建立與它繫結的輸出層。此前當輸入與輸出共用同一種緩衝型別,也就是純 CPU、-ngl 0 執行時,同一張表會被存兩份。實測 gemma-4-E2B-it Q4_K_M 在關閉 mmap 的情況下,CPU 模型緩衝從 3163.73 MiB 降至 2947.73 MiB,省約 216 MiB。
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架,其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax,最佳化目標是滿足服務要求的達標輸出吞吐;另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%,官方註明屬收益測算範例。
openJiuwen AgentMemory 0.2.0 上線多模態記憶能力 OmniMem-Lens,用視覺畫面與 ASR 語音雙流交叉對焦,把長影片切在真實事件邊界上並分層儲存,替代按固定時間視窗盲切。L1/L2 記憶單元已文字化、向量化,可接入主流向量資料庫;記憶離線建好,線上按語義匹配 L1/L2,僅在需要視覺核驗時調取 L0 原始幀。
TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露,其 System-One 模型 Jev 估值達 100 億美元,日處理量已突破一萬億 token,且夜間流量持續走高,說明大量呼叫來自機器自動化。Jev 1.13.0 在第三方 JevBench v1.2.1 綜合榜以 75.3 分排名第一,發布影片 6 天瀏覽量超 3870 萬。
Ramp 資料顯示,企業 AI 用量在漲、支出卻幾乎停滯:8 至 9 月 token 支出僅增 1.5%,而 7 月環比還是 42%。主因是價格戰,OpenAI 9 月將 GPT-6 Sol 與 GPT-6 Luna 的 API 價格減半,Anthropic 也下調 Fable 5.1 與 Opus 5.5 價格,並稱這使收入增速減少約 6 億美元。支出最高的 1% 企業人均月支出從夏季峰值降至 1 萬美元以下,中位數企業僅 12–15 美元。
BottleCap AI 發布 ThinkingCap 系列第五個模型,把 Google gemma-4-26B-A4B-it 的平均思考 token 減少 38.9%,十二項基準準確率平均只降 0.15pp。單項降幅最高為 LongBench v2 的 69.1%,AA-LCR 降 59.3%;迴圈輸出率從 3.64% 降到 0.76%;IFBench 反而提升 1.83pp,AA-LCR 準確率下降 4.00pp 是主要代價。取樣設定和 vLLM 服務棧不變,可直接替換;
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1,約 2.8 萬億 token,覆蓋印度憲法列出的 22 種語言,即將開源,同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token(按 Gemma-4 分詞器計),共 34 種語言—文字組合,其中 12 種語言另有羅馬化文字。
Anthropic 發布工程部落格,詳解 Claude 的智慧體記憶機制:其中“做夢”能幫 Claude 整理已學到的內容、糾正自身錯誤,並在下次需要時更容易找到目標資訊。文章發布在 Anthropic 研究頁面(components-of-agent-memory),說明記憶如何讓 Claude 從經驗中學習。
TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。
Meta 提出相機可控影片世界模型 World-T³,用測試時訓練把滑出上下文視窗的歷史觀測寫入快速權重,緩解長時生成中的失憶。在 120 段“去程+返程”基準上,重訪 PSNR 從 13.52 dB 升至 18.31 dB,絕對旋轉誤差從 3.344°降至 1.075°。經雙教師蒸餾的 4 步模型在單張 B200 上以 1280×704 解析度達到 20.6 FPS,生成中記憶持續更新,並在 6 項重訪一致性指標上均列第一。