港科大等發布首篇自迴歸影片生成 Memory 綜述,110 頁
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
依意思最接近的 25 筆
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
記憶張量發布並開源 MemT 1.0,稱其為業內首個記憶原生基座模型,歷史資訊被編碼為可更新的內部記憶狀態,隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash(288B 引數、17B 啟用、336M 動態記憶)與 Nano(36B 引數、3B 啟用、10M 動態記憶)。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
2026 年 10 月 3 日,一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG:把會話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶,讓 agent 工作前查閱 Markdown 文件、工作後更新,並稱已把這一思路做成外掛 Operator Memory,不使用向量資料庫和嵌入。
Percepta 公布新架構 Spotlight,用可讀寫記憶取代注意力機制,宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元,稀疏度可任意調節,不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離,模型權重不隨記憶增長而改變,可自行決定載入與覆寫,從而無需重訓練即可獲得新能力。
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena,論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖,把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示,存得多不等於用得好:M2A 記憶召回率 86.83%,問答正確率僅 50.14%;
純 Rust 編寫的開源引數化 3D CAD SolidCraft 發布,內建 MCP 伺服器,可讓 AI agent 直接驅動建模,同時支援桌面端與瀏覽器執行。它提供草圖約束求解、拉伸/旋轉/掃掠/放樣、裝配、鈑金與引數化特徵時間線,修改尺寸後模型自動重建,並可匯出 STEP 與 IGES。已提供 Windows、macOS、Linux(AppImage、deb、rpm、Flatpak、Snap)及 ARM64 與網頁版下載,安裝包尚未簽名。
浙江大學、復旦大學、螞蟻集團與南京大學團隊推出 WorldMemBench,用可控的“離開—回訪”鏡頭評測影片世界模型的記憶。基準含 260 個案例、23 個內容類別,分靜態記憶、動態記憶及影片品質、相機跟隨四個維度,測試了 HY-WorldPlay、LingBot-World 等九個模型。結果顯示靜態與動態記憶的強項分化:HY-WorldPlay 七項靜態指標全部領先,LingBot-World 動態記憶總分最高;
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
Meta AI 公布 Muse Wonder 的兩項核心能力,均面向 agent 每天要處理的長時、多步任務。Active Memory 讓上下文跨對話保留,並在相關時重新調出;Active Focus 讓模型在任務變難時繼續朝目標推進,嘗試替代方案、突破阻塞並堅持到完成。推文未說明上線時間、可用範圍與模型規格。
Meta 發布 Muse Wonder 與 Muse Wonder Full 兩個模型,稱其在個人與專業智慧體、記憶和程式設計等關鍵基準上取得 SOTA。二者把專門知識用於工作與日常場景中的問題,例如理解一份租約、解讀財務或健康資訊,評測任務覆蓋法律、金融與健康領域。該推文未提及模型規模、開放方式與上線時間。
Cal AI 聯合創始人 Zach Yadegari 為其新 AI agent 公司 Persona 融資 1000 萬美元,Vine Ventures 領投。Persona 是一款個人 AI 助理,配套 179 美元的可穿戴手環,靠按鍵或甩腕啟用而非全程錄音,預計 12 月發售;目前已免費 beta 形式在 iMessage 上執行,積累了數千名使用者,手環預售收入達五位數。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
Mistral 放出 Mistral Large 4 預覽版:1 萬億總引數、490 億啟用引數,在自建 3800 塊 NVIDIA Grace Blackwell GPU 叢集上訓練。預覽版目前只通過 Mistral API 提供,官方承諾月底發布開放權重版本。該 API 僅支援 none 和 high 兩檔推理等級,high 檔生成同樣題目時用了 2717 個輸出 token,反而少於 none 檔的 3275。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格,把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器,並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中,線性儲存器容量約 64 條,平方 ReLU 的 GLU 式 MLP 約 2700 條,採用固定縮放係數的自注意力理論容量約 120 萬條;1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
Meta 發布開源權重模型 Muse Spark Open,擁有 8160 億引數和 100 萬 token 上下文視窗,原生多模態,面向複雜編碼與 agent 任務,並針對 Mac 本地執行設計。本地部署門檻不低,至少需要 1TB 記憶體,Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。
Meta 表示已訓練出 Muse Wonder 模型家族,重點在對齊與安全兩個維度上領先。官方稱交付個人超級智慧需要在對齊與安全上大幅投入,並要求模型對私人資訊保持審慎、抵抗濫用。該家族據稱能更穩健地應對對抗性指令,並更謹慎地處理隱私資訊。推文未提及模型規模、開放時間或評測資料。
北京通用人工智慧研究院體系孵化的通衍靈智公布 RSI(遞迴自我改進)個性化 AI 路線:在共享基礎模型之上,用輕量 Personal LoRA 承載個人與企業的專屬能力。Evaluator 先按使用者標準篩選業務反饋,只把反覆出現的模式用於增量更新;更新後要與舊版本在同一批任務上對比,退化就回滾。
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存,並估算容量:在 64 維 key 下,線性層約存 64 條記憶,MLP 約 2700 條,自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質:儲存越多,鍵之間干擾越大,干擾等於訊號時達到容量;鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶,並配有互動式應用展示召回如何失敗。
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。
Meta 發布開源權重模型 Muse Spark Open,稱其是美國迄今能力最強的開源權重模型,主打編碼與 agentic 任務。模型總引數 816B、啟用 42B,上下文視窗 1M token,原生支援文字、影像、影片與音訊多模態。官方稱其在長時程任務、複雜軟體工程和多步推理上表現突出。
Meta 公布了 Muse Glimmer 的技術報告,這是一個 30B 開放權重模型,面向消費級硬體上的 agentic 任務。它在 4-bit 精度下可在配備單張消費級 GPU 的 Mac 或 PC 上以實用速度執行,官方稱其在工具呼叫與多步規劃上領先同尺寸開放模型。報告還披露了模型架構、蒸餾配方與量化方案等細節。
Pi 1.3.0 發布,在 OpenAI GPT-6(API key)上中途調整思考等級現在會保留 prompt cache;Kimi Code 改用官方客戶端的 Chat Completions 協議,K3、K3-256K 與 Kimi For Coding 中途新增工具也不再讓快取失效。切換模型時舊模型的 thinking 塊會被丟棄,不再以純文字傳給新模型;