港科大等發布首篇自迴歸影片生成 Memory 綜述,110 頁
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
依意思最接近的 30 筆
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
2026 年 10 月 3 日,一篇技術文章批評市面上的 agent 記憶外掛本質都是 RAG:把會話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記憶被當作事實、無法審計等問題。作者主張改用文件式記憶,讓 agent 工作前查閱 Markdown 文件、工作後更新,並稱已把這一思路做成外掛 Operator Memory,不使用向量資料庫和嵌入。
浙江大學、復旦大學、螞蟻集團與南京大學團隊推出 WorldMemBench,用可控的“離開—回訪”鏡頭評測影片世界模型的記憶。基準含 260 個案例、23 個內容類別,分靜態記憶、動態記憶及影片品質、相機跟隨四個維度,測試了 HY-WorldPlay、LingBot-World 等九個模型。結果顯示靜態與動態記憶的強項分化:HY-WorldPlay 七項靜態指標全部領先,LingBot-World 動態記憶總分最高;
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存,並估算容量:在 64 維 key 下,線性層約存 64 條記憶,MLP 約 2700 條,自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質:儲存越多,鍵之間干擾越大,干擾等於訊號時達到容量;鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶,並配有互動式應用展示召回如何失敗。
加州大學聖塔芭芭拉分校、斯坦福等六家機構聯合提出多模態 Agent 記憶評測基準 WorldMemArena,論文已被 NeurIPS 2026 接收。該基準含 400 多項多會話任務、24,258 組問答與 15,595 張影像截圖,把記憶拆成寫入、維護、檢索、使用四個環節來定位失敗原因。初步結果顯示,存得多不等於用得好:M2A 記憶召回率 86.83%,問答正確率僅 50.14%;
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格,把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器,並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中,線性儲存器容量約 64 條,平方 ReLU 的 GLU 式 MLP 約 2700 條,採用固定縮放係數的自注意力理論容量約 120 萬條;1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
記憶張量發布並開源 MemT 1.0,稱其為業內首個記憶原生基座模型,歷史資訊被編碼為可更新的內部記憶狀態,隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash(288B 引數、17B 啟用、336M 動態記憶)與 Nano(36B 引數、3B 啟用、10M 動態記憶)。
Percepta 公布新架構 Spotlight,用可讀寫記憶取代注意力機制,宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元,稀疏度可任意調節,不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離,模型權重不隨記憶增長而改變,可自行決定載入與覆寫,從而無需重訓練即可獲得新能力。
軟體工程學者 Diomidis Spinellis 在部落格中判斷,AI 將接管大部分認知工作,思考會像狩獵、書法和木工一樣,從謀生手段變成休閒愛好。他給出三個驅動因素:效能更高、成本更低、可用性更高,並提到 OpenAI 內部模型已解決數百個此前未解的數學問題。文中還提到到 2030 年數萬億美元的資料中心投資將帶來更多算力,政府可能以監管和稅收限制 AI,但歷史上的類似舉措未能阻止技術革命;他建議保持靈活、跟上進展,並在工作之外建立有意義的生活。
一篇 2026 年 10 月 11 日發布的觀點文章認為,AI 帶來的認知外包不是認知退化,而是把人從繁瑣規則裡解放出來。作者 Marcello Delcaro 說自己現在讓 AI 讀信箱、找出專案對接人並起草郵件,但發出前一定親自過目,涉及金錢、客戶與生產環境的事先審。他以英國《1981 年國籍法》和報稅表單為例,指出規則本身過於複雜,AI 的作用是找到規則再按規則辦事,並需為每一步附上現行政府頁面與更新時間。省下的腦力則回到寫日記、讀書和社交。
OpenAI 在 ChatGPT 工具選單中加入 Study 學習模式,通過一次一個問題、提示、解釋與理解檢查,引導使用者逐步探索主題並反思自己的推理。該功能由教師、科學家與教育學專家合作開發,在 ChatGPT 工具選單中選擇 Study 即可開啟。同時,OpenAI 在免費學習平台 OpenAI Academy 上線了 AI for Educators 課程的巴西葡萄牙語版本,面向中小學與高等教育教師,用於備課、設計活動與評估並保留教師的教學判斷。
一篇隨筆主張,AI 正在瓦解支撐個人智力活動的知識社群,使長期、複雜的私人思考越來越難維持。作者以軟體工程為例:Claude Code 發布一年多,行業討論從編譯器、型別系統轉向 prompt、harness、loop,變得狹窄膚淺;寫部落格、開源庫或設計新程式語言也不再有人類讀者,內容只會被下一代模型消化。文章稱數學領域正經歷類似過程,並認為持續的知識活動需要共享成果與他人認可這兩種無法獨自獲得的輸入。
愛爾蘭一所公立繼續教育學院的教師發帖,稱已獲得資金建成一個小型 AI 實驗室,硬體配置尚可,目標是讓學生學到使用 ChatGPT 之外的實用技能,因此向社群徵集教學方向建議。帖子未透露具體硬體型號、課程安排或學生人數。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
Periodic Labs 聯合創始人 Liam Fedus 與 Ekin Dogus Cubuk 在一檔播客中介紹了其「合成超級智慧」構想:以真實物理實驗作為強化學習環境,訓練能自主發現新材料的 AI 科學家。這家成立一年的公司正搭建自動化實驗室,希望讓每臺儀器擁有「140 IQ」,並用做科學的完整過程而非僅論文結果來訓練模型。他們認為失敗的實驗可能是最有價值的訓練資料,自主實驗可把數十年的試錯壓縮到數月,目標材料涵蓋室溫超導、磁體與電池。
一位即將迎來第一個孩子的程式設計師在 AGI 時代重讀 Neil Postman 1995 年的《教育的終結》,追問該教孩子什麼、為了什麼。他承認自己 2013 年預測 MOOC 顛覆教育落空,並借林迪效應指出學校歷經廣播、電影與網際網路仍存續,因為教育的目的會隨時代替換。他曾把教育目的濃縮為「善用資源」,但這一能力如今正被 AI agent 的工具迴圈所實現。隨著 AI 同時動搖「謀生」和「貢獻」兩條路徑,他主張讓孩子一起參與擬定教育的目的。
一位開發者把 AI Agent 跑在了只有 48MB RAM 的諾基亞 110 功能機上,並已用它自動化了幾個操作。他平時用這部手機來減少螢幕時間,最初嘗試刷入 Android 系統,因記憶體只有 48MB 而失敗,隨後花幾天時間逆向工程,最終讓 AI Agent 在這臺手機上執行。該帖發在 Hacker News 的 Show HN 板塊,目前 15 分、3 條評論,作者未說明所用的是哪個 AI 模型,也沒列出具體自動化了哪些操作。
文章在凱文·凱利 2016 年出版的《必然》問世十年後,逐條回看他當時對 AI 的判斷。他預言到 2026 年 Google 的主業將不再是搜尋而是 AI,AI 會由兩三家通用雲端商業智慧形成寡頭格局,形態更像可按需取用的 AWS 式廉價基礎設施,且絕大多數是狹窄的專用軟體大腦;人們還能用對話語氣向雲端提出任何問題。文中另提到 Google 研究者 2017 年發表《Attention Is All You Need》,提出 transformer 架構。
AAAI 期刊論文《How to make System 1 LLMs show System 2 competencies?》在 Wiley Online Library 上線,研究如何讓直覺式(System 1)大模型表現出慢思考(System 2)的能力。全文需經 Wiley 連結檢視,Hacker News 同期討論帖僅 7 分、1 條評論。原文未披露所用方法、模型與實驗資料。
一篇評論用斯特魯加茨基兄弟的科幻小說《路邊野餐》類比 AI 對科學的衝擊:AI 實驗室正成批產出數學發現,多到要另附導讀,速度遠超學界消化能力。作者稱這類「發現傾倒」會出現在所有能閉環快速驗證的領域;NYU 數學教授 Tristan Buckmaster 提到最近一批 AI 科學論文讓整個研究專案一夜之間被抹掉。文章的核心判斷是答案將越來越先於理解到來,理解成為瓶頸,這或許也是反加速主義少有的有效論據。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
The Verge 發表評論文章,認為人類的心智並不適合應對 AI,AI 行業把大腦等同於計算機的流行比喻過於簡化了人。文章引用控制論奠基人 Norbert Wiener 的「每個時代的思想都映照在其技術中」,並點名 Google 的 Demis Hassabis 稱大腦是圖靈機的生物近似、Elon Musk 稱應把大腦視為生物計算機。作者反駁這類說法,指出人類的複雜性遠超多數 AI 從業者的認知,而 AI 產品仍在不斷推進。完整內容見 The Verge。
蒙大拿州立大學計算機教授 Carson Gross 在《Yes, and...》中回答“AI 時代還該不該學程式設計”:應該,但初級程式設計師必須親手寫程式碼。他認為 AI 能生成作業程式碼,但若因此不寫程式碼,就難以讀懂程式碼,可能造出自己無法理解和控制的系統;AI 更適合當助教,他給學生提供 AGENTS.md 來把編碼代理配置成助教。他同時判斷,未來寫程式碼本身的相對價值會下降,清晰溝通與理解業務會更重要。
Meta 再次更新商業條款,刪除了暗示其可使用第三方域名、網頁或 URL 內容來開發、改進、研究和訓練 AI 的表述。該條款此前引發反彈,Neiman Lab 與康奈爾大學數字與資訊法教授 James Grimmelmann 等人都對其作出批評性解讀。目前這段文字已從商業條款頁面移除,完整報導見 The Verge。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
OpenAI 新平台發布系列首篇隨筆《永恆的互補》,作者為 Hemanth Asirvatham 與 Elliott Mokski,文末註明觀點不代表 OpenAI。文章引用 Nick Bloom 等研究:維持摩爾定律所需研究人員數量是 1970 年代初的 18 倍以上,1930 年代以來全經濟有效研究投入增長 23 倍,而研究生產率下降 41 倍。作者據此提出「制度智慧」概念,認為前沿智慧與執行能力互為補充,超級智慧的價值可能更多體現在重複性執行工作上。
Hinton、Bengio 等 22 位作者聯合發表首篇 RSI(遞迴自我改進)論文《What if automating AI R&D triggers an intelligence explosion?》。論文引用 Anthropic 內部資料:AI 生成獲批程式碼佔比從 2025 年 1 月的低個位數升至 2026 年 5 月的超 80%,Claude 在高層監督下自主完成的 AI 研發工作比例從 2026 年 3 月的約 1% 升到 8 月的 26%。
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。