何愷明團隊發布視覺原生 Harness 框架 VISTA
何愷明團隊提出視覺原生 Harness 框架 VISTA,讓現有多模態模型無需重新訓練,就能儲存原始畫面並在推理時按需回看、放大細節。VISTA 把環境返回的每幀畫面按回合號、幀號索引存到上下文之外,預設只向模型展示最後一幀,需要時用 inspect 工具調取歷史畫面。搭配該框架,Claude Opus 5.0 通關 ARC-AGI-3 全部 25 個公開遊戲,動作效率得分滿分 100,所用動作數比人類首次遊玩基線少 57.4%;
依意思最接近的 30 筆
何愷明團隊提出視覺原生 Harness 框架 VISTA,讓現有多模態模型無需重新訓練,就能儲存原始畫面並在推理時按需回看、放大細節。VISTA 把環境返回的每幀畫面按回合號、幀號索引存到上下文之外,預設只向模型展示最後一幀,需要時用 inspect 工具調取歷史畫面。搭配該框架,Claude Opus 5.0 通關 ARC-AGI-3 全部 25 個公開遊戲,動作效率得分滿分 100,所用動作數比人類首次遊玩基線少 57.4%;
Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型,發現目標識別與定位可達 100%、操作語義理解接近 100%,但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片,但拿不到物體座標與專家軌跡,需自行決定是否消耗步數切換視角,並直接給出移動距離、旋轉角度與夾爪開合時機。
斯坦福李飛飛、吳佳俊等團隊發布開源世界動作模型框架 OpenWAM,用共享底座加可切換的互動方式,回答 WAM 裡究竟是哪個設計帶來提升。框架基於阿里 Wan2.2-5B,先在約 334 萬條、約 1.46 萬小時機器人影片上做因果化預訓練,再用 MoT 拼起 5B 影片專家與 2B 動作專家,支援四種先想或先動的互動程式。因果底座把 LIBERO-Long 成功率從 68.4% 拉到 97.8%,配反事實資料的區域性 IDM 遷移到新任務平均達 84.0%。
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight,用 7B 模型在任務執行中逐步讀取軌跡字首,在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上,其關鍵錯誤步驟識別 Exact-F1 達 66.44,比最強通用基線 DeepSeek-V4-Pro 高 19.88 分,成功軌跡誤報率僅 2.37%。
Artificial Analysis 的 Video Arena 文生影片排行榜上,影視公司 Utopai 的定製模型 Utopai X 以 1150 的 Elo 評分位列全球第二、全美第一,這是該榜採用雙盲投票以來首次有影視公司定製模型進入前列。Utopai X 基於 MiniMax H3 架構做深度定製後訓練,在評測的 10 項細分能力中 7 項超越基座模型,音訊同步與物理規律排名第一,光照與材質、鏡頭控制排名第二。
OpenWAM 是一個面向世界-動作模型的開放框架,讓影片預測與動作生成按不同順序組合,也能把獨立訓練的影片預測器、逆動力學模型(IDM)與前向動力學模型(FDM)在推理時拼接。它基於 Wan2.2-5B 適配機器人影片,在約 334 萬條軌跡、14640 小時影片上預訓練,用 32 張 NVIDIA B200 訓練 14 天,再以 5B 影片專家加 2B 動作專家組成 MoT 架構加入控制。
南洋理工大學、清華大學、上海交大等十餘家機構聯合發布綜述,以「感知—推理—行動」為主線梳理近 200 篇具身智慧可供性學習工作。綜述將研究分為可供性感知(2D、3D、互動驅動、可泛化)、可供性推理(關係式、語言中心、智慧體式)與可供性引導行動(分層執行、策略學習融合)三個層次,並彙總五類資料集與 IoU、mAP、aIoU 等評測指標。作者指出視覺預測準確並不等於機器人能成功執行,未來評測需納入機器人本體約束與物理可行性。
中科大系公司白澤通境發布溯因式世界模型 AWM,並開源論文與程式碼,配合自研端側推理引擎 BAIZ-RUN 把模型壓進機器人本地執行。AWM 從無標註影片學習,在 Push-T 任務上以 2000 條軌跡達到 75% 成功率,約為 Causal-JEPA 所需資料的七分之一,資料加到 14728 條時成功率約 92%。
llama.cpp 的 server 元件新增了 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援,並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台,但明確不支援 date_facts。
董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI:人手持夾爪示範時,模型同步預測動作並標出與人類操作的分歧,從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型,在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務,三輪更新後平均任務進度分數從 62.3 升至 94.8,同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍,最終得分 96 比 91。
技術部落格 magicnumbers.io 於 2026 年 10 月 6 日發布題為 AI Model Groupthink 的文章,指向 AI 模型的群體思維/趨同現象。該文被提交到 Hacker News 後,截至收錄時獲得 9 分、1 條評論。條目本身只提供標題與連結,沒有正文摘要、作者結論或涉及的具體模型資訊。
星動紀元自研世界動作模型 VPP2 登頂 RoboDojo 模擬榜單,平均成功率 32.26%、平均得分 39.26 分雙第一,高於 GPT-6-Astra 的 22.48% 和 28.97 分,泛化、精細操作、記憶三項同樣居首。真機 ALOHA 雙臂零樣本 10 類任務平均成功率 58.5%,9 類最佳,高於π0.5 的 40%。該模型未使用額外資料或 Agent RSI 等增強手段,靠三階段訓練解耦影片預測與動作學習,程式碼與專案主頁已開源。
舊金山成立兩年的 Mirror Particle 認為用 LLM 角色扮演目標人群來預測人類行為的方法行不通,改為從零訓練模擬人類動因、並追蹤其隨時間變化的世界模型。它結合客戶資料、時事、流行文化與社交媒體建模人群,重點看真實發生的「已顯現行為」而非問卷自述。公司已完成天使輪、接近敲定首輪風投,將參加 TechCrunch Disrupt 2026 的 Startup Battlefield 200。初期面向市場研究與品牌產品策略;
香港理工大學與字節跳動團隊的 VisInteract 被 NeurIPS 2026 接收為 Spotlight(292/30709),它把文字到視覺化(Text-to-Vis)當作從不完美查詢中多輪追問、找回真實意圖的過程。團隊同時發布首個動態互動式 Text-to-Vis 基準 VisInteract-Bench:1098 條樣本、11 個資料庫、75 張表,約 61% 查詢帶歧義、69% 帶事實錯誤;
量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。
人大高瓴 GeWu-Lab、智源研究院等提出 ROMA 系統,讓多感測器機器人主動與物體互動來補全物理理解,其 ROMA-7B 模型在 ROMA Bench 的 2100 道題上取得 72.9% 成功率,整體與 GPT-6 Astra 持平,並超過 GPT-5.4 與 Gemini 3.5 Flash。該工作同時開源了覆蓋近 2000 個真實物體、視聽觸力四模態同步採集的互動資料集 ROMI-2K,以及包含單鏈、多鏈和意圖驅動三類任務的評測基準。
Google DeepMind 發布 EmbeddingGemma 2,稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外,把程式碼、影像、音訊與影片統一對映到同一個共享向量空間,可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位,未公布引數規模、上下文長度、適配硬體與開源許可等細節。
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。
Ben Affleck 本週因多段訪談影片走紅,他在其中講解神經網路、transformer、張量等概念,並稱自己會寫點 Python。他透露做法是拿開源模型微調:解凍權重、只訓練最後一層「電影感」層,讓劇組達到製片標準,該技術已用於其電影《Animals》後期。他創立的 AI 影視公司今年被 Netflix 收購,報導金額 5.87 億美元,他本人稱這個數字不準確。他還表示不擔心 AI 接管影視業,更擔心學生的習得性無助與大學 A 成績三年上升 30%。
輝達聯合 MIT 與牛津大學提出的 Physis-Lang,把物理原因、規律和結果寫進影片文字描述,並貫穿資料篩選、模型訓練與影片生成。其 Cosmos3-Super 與 Cosmos3-Nano 在 Physics-IQ Verified 榜單以 48.2 和 43.3 分列前二,Super 較此前最高分高出 5.5 個百分點。基於 Cosmos3-Nano 的版本在論文四項物理 benchmark 上取得開源最佳,三項總分超過 Veo 3.1。
何愷明團隊發布 NAT-ARC,用 ImageNet 上 MAE 預訓練的視覺編碼器解 ARC 抽象推理題,最佳單模型(0.6B 引數)在 ARC-1 上 pass@2 達 63.4%,整合後 70.2%。該方法不依賴 LLM,預訓練階段不使用 ARC 格子,僅複用 MAE 公開 checkpoint,測試時對每題做 LoRA 微調。論文稱這是純視覺方案首次逼近專用 LLM 系統水平,並顯示預訓練打通了視覺路線的 scaling 瓶頸。
有人讓 jev 1.13、kev、clef、clef flash、GPT-6 Luna 和 Laya 六款低延遲決策模型玩吃豆人對抗機器人鬼魂,每個模型各跑 100 局,並公布了排行榜。測試倉庫已開源,任何人都能接入自己的模型加入排名。這些模型通過其創業公司 opper 執行,一局成本約 2 美分,併為所有人提供免費試用額度。讀者也能自己扮演吃豆人、由模型當鬼魂,作者稱打破 jev 的高分出乎意料地難。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果,以 GitHub 倉庫形式公開,併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算,以及嘗試題目數量的統計,平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
OpenAI 官方帳號發布推文,稱用視覺化內容把概念呈現出來,可以加深使用者對某個主題的理解。推文只有這一句話,未說明對應哪款產品或功能,也沒有給出上線時間和具體用法。
有作者撰文反駁“沒人知道大語言模型如何工作”的說法,稱 LLM 是純機械系統。文中拆解一次推理:文字先切成 token 並數值化,經矩陣乘法、注意力、歸一化與非線性變換逐層計算啟用,最終得到下一個 token 的機率分佈並按解碼規則輸出;訓練用損失函式回傳誤差調整引數,日常呼叫不會改動引數。作者強調只要有模型與工具,就能記錄每層啟用、檢查注意力頭與權重、增刪元件觀察變化,Transformer Circuits 與 circuit tracing 等可解釋性研究也在公開推進。
VideoGen-Agent 用 Qwen3-VL-8B-Instruct 做基座,在多輪互動中呼叫檢索、生成與驗證工具,先以 16K 教師軌跡監督微調,再用 8K 提示做多工強化學習。在 600 條提示的 VABench 上,Toolset 1 配置得 75.6 分,比基礎生成器 56.5 分高出 19.1 分;智慧體策略不變、僅升級生成工具後達 86.1 分,人類評估中 84.3% 的判斷偏好該配置。
宇樹機器人發布通用人形基礎模型 UnifoLM-WLA-1.0,引數 6B,用約 2500 小時真實機器人資料訓練,單個模型可完成 64 項任務(10 項全身 + 54 項桌面),並支援平行夾爪與兩種靈巧手。架構上以基於 Qwen3-VL 的具身推理器 UnifoLM-ER-1 為起點,加入光流與 VQ-VAE 的未來動態區域預測、殘差 VQ 動作離散化,以及 MMDiT 動作專家做連續控制。演示在宇樹 G1 上完成鋪床、裝洗衣機、疊衣服、物體分揀等操作。