牛津等團隊提出互動式影片世界模型 Oneira
牛津大學、莫納什大學與布里斯托大學等團隊提出互動式影片世界模型 Oneira,由 Coding Agent 維護的 World State Table 單獨記錄場景中每個物體的 3D BBox 與互動狀態,從而精確改變指定物體,並讓改變後的狀態在後續影片中持續保留。
依意思最接近的 30 筆
牛津大學、莫納什大學與布里斯托大學等團隊提出互動式影片世界模型 Oneira,由 Coding Agent 維護的 World State Table 單獨記錄場景中每個物體的 3D BBox 與互動狀態,從而精確改變指定物體,並讓改變後的狀態在後續影片中持續保留。
Anyworld 是一款瀏覽器端多人文字冒險遊戲,由房主用 llama.cpp 本地跑模型充當 DM,也支援 OpenAI 等雲 API,玩家只需開啟連結即可加入。行動結果由 Python 真實擲骰決定,模型只負責敘述;支援自訂劇本、隱藏劇情觸發、場外聊天和斷線重連。開發時用 Gemma 4-26B-A4B Q4、128k 上下文,在 RTX 5070 Ti 16GB 上每輪結算約 5 秒。
斯坦福李飛飛、吳佳俊等團隊發布開源世界動作模型框架 OpenWAM,用共享底座加可切換的互動方式,回答 WAM 裡究竟是哪個設計帶來提升。框架基於阿里 Wan2.2-5B,先在約 334 萬條、約 1.46 萬小時機器人影片上做因果化預訓練,再用 MoT 拼起 5B 影片專家與 2B 動作專家,支援四種先想或先動的互動程式。因果底座把 LIBERO-Long 成功率從 68.4% 拉到 97.8%,配反事實資料的區域性 IDM 遷移到新任務平均達 84.0%。
OpenAI 官方帳號表示,使用者可以直接在對話裡建立可使用的互動式工具,例如小遊戲或互動式預算規劃計算器。該推文發布於 2026 年 10 月 7 日,未說明適用的具體產品、可用範圍、上線時間與使用限制,也未提供範例之外的細節。
Einsia AI 旗下 Navers Lab 發布 World Models' Last Exam in Physics,用 40 個任務、9 類物理現象測試 8 個影片生成模型,Seedance 2.5 以 57.76 分居首,MiniMax H3 以 54.89 分次之。評分由一致性分 C 與物理分 P 組成,物理分靠程式從影片中測量軌跡、週期、角度等量再按物理關係計算,且只有 C≥80 才計入總分。
中科大系公司白澤通境發布溯因式世界模型 AWM,並開源論文與程式碼,配合自研端側推理引擎 BAIZ-RUN 把模型壓進機器人本地執行。AWM 從無標註影片學習,在 Push-T 任務上以 2000 條軌跡達到 75% 成功率,約為 Causal-JEPA 所需資料的七分之一,資料加到 14728 條時成功率約 92%。
OpenAI 官方帳號發布一條簡簡訊息,介紹用互動式視覺化來探索想法,畫面會隨著使用者學習、嘗試和發現而作出回應。帖文未披露具體產品名稱、功能形態、上線時間與適用平台,也沒有說明是否面向付費訂閱使用者或已進入測試。
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
舊金山成立兩年的 Mirror Particle 認為用 LLM 角色扮演目標人群來預測人類行為的方法行不通,改為從零訓練模擬人類動因、並追蹤其隨時間變化的世界模型。它結合客戶資料、時事、流行文化與社交媒體建模人群,重點看真實發生的「已顯現行為」而非問卷自述。公司已完成天使輪、接近敲定首輪風投,將參加 TechCrunch Disrupt 2026 的 Startup Battlefield 200。初期面向市場研究與品牌產品策略;
OpenAI 官方帳號發布提示,邀請使用者試用互動式回答(interactive answers)來定製自己的回覆。原文僅有這一句,未說明該功能出現在哪個產品、如何進入、開放範圍與上線時間。
OpenAI 隨新 GPT-6 模型推出名為 Intelligent UI 的新介面,週三起面向 Pro、Plus、Business、Enterprise 使用者全球上線,免費與低價 Go 檔使用者週四可用。ChatGPT 回覆中將大量加入可點選按鈕、任務定製計算器、互動式圖表、可編輯圖形等元素,官方稱目標是讓複雜主題更易學習。使用者可像調整其他個性化設定一樣,減少回覆中的視覺內容。
OpenWAM 是一個面向世界-動作模型的開放框架,讓影片預測與動作生成按不同順序組合,也能把獨立訓練的影片預測器、逆動力學模型(IDM)與前向動力學模型(FDM)在推理時拼接。它基於 Wan2.2-5B 適配機器人影片,在約 334 萬條軌跡、14640 小時影片上預訓練,用 32 張 NVIDIA B200 訓練 14 天,再以 5B 影片專家加 2B 動作專家組成 MoT 架構加入控制。
PhAI Labs 於 10 月 12 日發布 RSI-Anything 技術報告,提出用世界模型連線預測、行動與真實反饋的跨領域遞迴自我改進(RSI)框架。在 CodeContests 程式碼修復中,不更換程式碼模型、線上測試預算不變,修復成功率從 26.3% 提升到 31.2%;OSWorld 圖形介面任務成功率相對提升約 18.4%。一個 4B 策略模型經連續五代迭代,實驗室規劃分數從 21.80% 升到 46.01%,略超參考系統的 45.32%;
人大高瓴 GeWu-Lab、智源研究院等提出 ROMA 系統,讓多感測器機器人主動與物體互動來補全物理理解,其 ROMA-7B 模型在 ROMA Bench 的 2100 道題上取得 72.9% 成功率,整體與 GPT-6 Astra 持平,並超過 GPT-5.4 與 Gemini 3.5 Flash。該工作同時開源了覆蓋近 2000 個真實物體、視聽觸力四模態同步採集的互動資料集 ROMI-2K,以及包含單鏈、多鏈和意圖驅動三類任務的評測基準。
香港理工大學與字節跳動團隊的 VisInteract 被 NeurIPS 2026 接收為 Spotlight(292/30709),它把文字到視覺化(Text-to-Vis)當作從不完美查詢中多輪追問、找回真實意圖的過程。團隊同時發布首個動態互動式 Text-to-Vis 基準 VisInteract-Bench:1098 條樣本、11 個資料庫、75 張表,約 61% 查詢帶歧義、69% 帶事實錯誤;
MIT 教授 Sherry Turkle 在 MIT Future Fest 發布新書《Artificial Intimacy》,討論人類為何本能地把機器人和大模型當作有感情的物件。她引用研究稱約 70% 的人與 AI 互動時會保持禮貌,對話超過第一輪後更常說「請」「謝謝」。同校研究員 Pat Pataranutaporn 認為關鍵不是用法對錯,而是「和 AI 對話時我們在變成誰」,他曾在一名 14 歲少年自殺後其母親起訴 Character.AI 的訴訟中擔任專家。
NVIDIA 發布一批案例,展示開發者用 GPT-6 Astra、Claude Fable 5 等前沿模型驅動 Omniverse 庫完成模擬開發。開發者以自然語言下指令,由模型連線 ovphysx 物理、ovrtx 渲染與感測器模擬等庫,再人工稽核並逐步修正結果。
跨維智慧發布 UNITAS,稱其為首個機器人任務原生的 3D 世界模型,把觀測、動作與環境變化統一到同一三維物理空間,用點的位置與軌跡表示,引數僅 1.7B。它在 LIBERO 取得 99.8% 平均成功率、LIBERO-Plus 89.1%,RoboTwin 2.0 雙臂 Clean 與 Randomized 分別 92.94% 和 93.04%,超過 6B 的 Fast-WAM 與 8B 的 Motus,真實機器人任務平均成功率 85%。
OpenAI 官方帳號宣布,GPT-6 新增 Intelligent UI,可在回覆中組合文字、視覺內容與互動元素,並按使用者提問自行決定三者的組合方式。回覆因此能包含幫助解釋概念的圖形和圖表,也能嵌入可點選按鈕、表單等互動體驗,使用者可直接在對話中使用它們。OpenAI 未在該推文中說明該功能的上線時間、適用套餐、地區限制或是否需要額外設定。
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。
有人讓 jev 1.13、kev、clef、clef flash、GPT-6 Luna 和 Laya 六款低延遲決策模型玩吃豆人對抗機器人鬼魂,每個模型各跑 100 局,並公布了排行榜。測試倉庫已開源,任何人都能接入自己的模型加入排名。這些模型通過其創業公司 opper 執行,一局成本約 2 美分,併為所有人提供免費試用額度。讀者也能自己扮演吃豆人、由模型當鬼魂,作者稱打破 jev 的高分出乎意料地難。
作者搭建了魔獸世界私服 jankcraft.xyz,並開發瀏覽器客戶端,PC 和手機均可免費遊玩。隨後用自訂 MCP 與 agent harness 通過 websocket 控制客戶端,讓 LLM 自動玩遊戲,agent 頁面已上線。本地模型需服務端開啟 CORS,作者自託管的幾個模型可能因用量增長下線;24GB 記憶體可跑 Qwen3.8-27B-GPTQ-W4A16,16GB 記憶體可用 vLLM 跑 Gemma4-e4b-coder。
OpenAI 隨 GPT-6 向所有使用者推出 ChatGPT 的 Intelligent UI,讓回答在文字之外還能包含示意圖、圖表、表單和可點選按鈕等互動視覺元素。OpenAI 表示,GPT-6 經過訓練,會判斷何時該生成互動視覺而非純文字,並學會在回答中排版這些元素。官方範例顯示,詢問七速腳踏車設計時,ChatGPT 會給出示意圖,並配有高亮不同部件的互動按鈕。
被 NeurIPS 2026 接收的 TerraVis 提出文生圖「世界一致性」評估框架,用物體、互動、場景三層共 18 類檢查衡量影像在結構、空間、物理與常識上是否合理,只輸入影像、不依賴提示詞。在 COCO-T2I 與 GenAI-Bench 上,它與人類評分的 Spearman 相關係數為 0.44 和 0.43,高於現有指標中最好的 RAHF(0.29 和 0.37);
Models API 新增 capabilities.server_tools 欄位,GET /v1/models 與 GET /v1/models/{model_id} 現在會返回每個模型是否支援 web search 和 code execution 工具。要確認某個模型是否接受 code execution 工具,讀取 capabilities.server_tools.code_execution;
宇樹機器人發布通用人形基礎模型 UnifoLM-WLA-1.0,引數 6B,用約 2500 小時真實機器人資料訓練,單個模型可完成 64 項任務(10 項全身 + 54 項桌面),並支援平行夾爪與兩種靈巧手。架構上以基於 Qwen3-VL 的具身推理器 UnifoLM-ER-1 為起點,加入光流與 VQ-VAE 的未來動態區域預測、殘差 VQ 動作離散化,以及 MMDiT 動作專家做連續控制。演示在宇樹 G1 上完成鋪床、裝洗衣機、疊衣服、物體分揀等操作。
尤拉永珍與香港科技大學(廣州)聯合開源具身模型 UniWAM(統一世界與動作模型),將語義理解、未來視覺預測與動作生成納入統一架構,並首次揭示人機聯合訓練的 Scaling 趨勢。模型在 LIBERO 取得 99.2% 平均成功率、LIBERO-Plus 92.6%、RoboTwin 2.0 C2R 68.32%,真機在雙臂 AgileX Piper 平台上平均任務成功率 67.5%、指令跟隨率 82.5%,長程桌面整理進度得分 5.0/6。程式碼與權重已全部開源。
Ai2 開源了 AstaBrief 8B,一個把研究問題與檢索文獻片段轉成帶引用報告的模型,基於 Qwen3-8B 訓練,已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告,比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放,機構可在自有基礎設施上本地生成報告。
董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI:人手持夾爪示範時,模型同步預測動作並標出與人類操作的分歧,從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型,在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務,三輪更新後平均任務進度分數從 62.3 升至 94.8,同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍,最終得分 96 比 91。
技術部落格 magicnumbers.io 於 2026 年 10 月 6 日發布題為 AI Model Groupthink 的文章,指向 AI 模型的群體思維/趨同現象。該文被提交到 Hacker News 後,截至收錄時獲得 9 分、1 條評論。條目本身只提供標題與連結,沒有正文摘要、作者結論或涉及的具體模型資訊。