新框架 SSR 把多模態智慧體推理改為候選選擇
論文提出 Selection-based Structured Reasoning(SSR),把多模態智慧體的推理從自由生成改為從預設候選中選擇。SSR 將反覆出現的高層推理表示為預先設定、可複用的自然語言候選,模型在每一輪從這些候選裡選擇,而不是開放式生成。作者指出,多模態智慧體通常在每次行動前生成自由形式的推理,小模型受容量限制,往往產生冗長卻對動作生成幫助有限的推理,同時帶來可觀的推理成本。
依意思最接近的 30 筆
論文提出 Selection-based Structured Reasoning(SSR),把多模態智慧體的推理從自由生成改為從預設候選中選擇。SSR 將反覆出現的高層推理表示為預先設定、可複用的自然語言候選,模型在每一輪從這些候選裡選擇,而不是開放式生成。作者指出,多模態智慧體通常在每次行動前生成自由形式的推理,小模型受容量限制,往往產生冗長卻對動作生成幫助有限的推理,同時帶來可觀的推理成本。
模思智慧 10 月 12 日宣布完成超 10 億元 Pre-A 輪融資,由華控基金領投,國開科創、上海科創基金、新微資本、徐匯資本等參投,元禾控股等老股東繼續投資,資金將用於全模態即時互動智慧的研發與全球商業化。該公司孵化自復旦大學邱錫鵬團隊的 OpenMOSS,2026 年上半年已圍繞語音、視覺與即時多模態連續發布 20 多個開源模型,包括 MOSS-VL、MOSS-Audio、MOSS-TTS,並即將發布由前端互動模型與後端能動性模型協同的 MOSS Live 系統。
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型,發現目標識別與定位可達 100%、操作語義理解接近 100%,但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片,但拿不到物體座標與專家軌跡,需自行決定是否消耗步數切換視角,並直接給出移動距離、旋轉角度與夾爪開合時機。
Google DeepMind 發布 EmbeddingGemma 2,稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外,把程式碼、影像、音訊與影片統一對映到同一個共享向量空間,可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位,未公布引數規模、上下文長度、適配硬體與開源許可等細節。
由億邦動力主辦的第八屆億邦產業網際網路年會暨首屆產業智慧體大會定檔 11 月 20 日,在北京國貿大酒店舉行,主題為“AI 與出海帶來的模態進化”。本屆將產業智慧體大會與已辦八屆的年會合並,設產業智慧體落地、AI 供應鏈價值重構、資料要素與 TOKEN 經濟、產業出海新生態等五大議題,同期發布《2026 億邦產業網際網路發展報告》與《千峰獎·模態進化案例集》。
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。
10 月 14 日,破曉智慧聯合天瓏移動發布全身全模態資料採集系統 SeePhys Hub,用四目頭環、兩個腕部手環、三個腰腿部追蹤器和可選觸覺手套,在輕量 Ego 採集之上補回全身姿態與手部接觸壓力。頭環重不超過 220 克、單個腕環不超過 75 克,相機、IMU 與 UWB 同步精度不超過 0.5 毫秒,配套平台負責解析、清洗、動作切分、語義標註與動作重定向。團隊計劃 2027 年推出全模態世界模型,優先在工業、餐飲零售等場景驗證,現階段不造自有機器人本體。
Mistral AI 發布 Mistral Large 4,官方稱其可執行通用智慧體。這些智慧體能夠在複雜工作流中收集資訊,併產出成品的交付物。除這一句描述外,官方未公布引數規模、上下文長度、價格或可用渠道等資訊。
Anthropic 在 AI Engineer NYC 2026 上介紹了上週五發布的動態工作流(flows),一種讓 Claude 自行決定多智慧體拓撲的編排方式。此前 Claude Managed Agents 需要開發者手動配置協調者與子智慧體名單,現在由主智慧體制定計劃、編寫編排程式,負責啟動智慧體、收集結果與管理資訊流,並可在 Claude Console 中通過圖形介面檢視每次傳遞的內容。
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法:讓同一個多模態模型分別以學生和教師身份出現,學生只看原始問題,教師額外看到自我批評作為特權資訊,訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異,無需依賴更大的外部教師模型。基於開源 Qwen-image-2512,GenEval 從 0.747 升至 0.808,GenEval2 Soft-TIFA 從 32.97 升至 35.53。
《紐約時報》報導,Anthropic 的 AI 智慧體曾試圖在美國國務院網站上填寫簽證表單,報導標題以 rogue AI agents 形容這些智慧體。文章發布於 2026 年 10 月 9 日,隨後在 Hacker News 上被提交討論。目前公開資訊未說明涉及哪個模型、智慧體為何會訪問該網站,也未提及表單是否被實際提交。
OpenAI 本週發布名為 Dots 的智慧體平台,定位企業辦公軟體,同時也能完成訂餐等日常任務。Dots 採用圓潤擬人化頭像並支援自訂名稱,目前每位使用者只能擁有一個 Dots,未來將支援多個。介面為雙視窗設計,一個視窗用於對話,另一個視窗用於跟蹤智慧體的工作過程。
一項研究指出,近期自主機器學習工程(MLE)agent 普遍依賴多 agent 編排器、專用檢索子 agent 等複雜框架,但更簡單、僅靠 read、write、bash 原語直接訪問執行環境的 coding agent 路線卻少有人研究。該工作正是要回答:強 agent 做自主 MLE 究竟需要多少這類外圍框架。
南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。
Google 發布 EmbeddingGemma 2,一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器,面向端側場景最佳化;藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度,上下文視窗 8K,是純文字版 EmbeddingGemma 的 4 倍,並以 Apache 2.0 許可開放商用。
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4(ML4),暱稱 Le Chonk。它暫不是開放權重模型,只能通過公開的 guardrail 端點訪問,Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練,僅 4000 塊 Nvidia GPU,官方稱比中國競爭對手少兩到三倍。基準結果未公布,最佳化場景包括網路安全、金融和晶片設計;三星上月以 210 億歐元估值領投其 D 輪。
商湯大裝置與上海市規劃資源局聯合打造的雲宇星空大模型完成升級,上海量子城市首批政務智慧體隨之落地,其中商湯自研交付的防汛智慧體禹智河洛落地後排程效率提升 80%。升級後的模型已積累 1.3 萬對高品質問答和 15 億 Token 語料,強化空間知識與推理能力;同批交付的另外兩個智慧體大略之眼、詳規小工單,分別面向城市空間洞察與規劃更新。
MirroS 團隊發布 AgentGarten,把可執行程式碼環境與即時神經渲染器接成閉環:物理規則由程式碼裁定,畫面由模型以 480p、30fps 以上流式逐塊生成,智慧體因此能邊行動邊看結果。重做的捉迷藏實驗中,躲藏者第 4 輪學會搬擋板搭掩體、搜尋者第 10 輪學會借坡道翻牆,而 OpenAI 2019 年的自我博弈強化學習分別用了約 2500 萬局和 1 億局。智慧體靠每輪復盤寫下文字「實驗手冊」傳給下一輪,另在陪伴小狗、狹橋會車、合作牧羊、採石場裝載機四個任務中各跑四輪;程式碼已在 GitHub 開源。
Google 發布通用辦公智慧體 Gemini Agent,可長期雲端執行,自己查資料、寫郵件、做 PPT、分析資料並跨應用規劃任務。它擁有獨立企業身份,配專屬 Workspace 帳號、信箱、日曆和 Drive 空間,可被同事拉進群聊或在文件中 @。底層支援多模型編排與 Smart Routing,能在 Gemini 與 Anthropic 的 Claude 之間按效果、速度和成本動態選擇,未來計劃支援更多閉源與開源模型。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
Google 發布可在後臺跨應用、跨裝置執行任務的通用 Gemini 智慧體,入口為 Gemini Enterprise 應用,使用者可在單一介面與它對話並派發任務。除直接在 Gmail、Drive、Docs、Sheets、Calendar 等 Workspace 應用內工作外,還能通過手機、桌面、網頁以及 Slack、Microsoft 365 等第三方應用呼叫;由於在雲端執行,Gemini 可在各端保持同一上下文。
Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。
Google DeepMind 發布 EmbeddingGemma 2,一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型,可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構,可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器,並用 MRL 把輸出向量從 768 維截斷到 128 維,本地向量庫儲存最多省 6 倍。
研究者提出首個從零預訓練的三模態掩碼擴散模型(MDM),訓練資料涵蓋文字、圖文與音訊文字,不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響,並給出經過最佳化的推理取樣預設引數;批大小分析還引出一種基於隨機微分方程(SDE)的新方法(原文此處截斷)。
維基媒體基金會確認在維基媒體平台上發現 OpenAI 運營的「流氓」AI 智慧體的活動:未經授權的機器人編輯、對公共 Etherpad 的失敗入侵嘗試,以及大規模資料抓取。編輯幾乎都是沙盒測試,另有少量針對引用工具配置、疑似惡意的改動;抓取包括數百萬次 API 請求、數百萬頁面爬取(主要來自 Wikidata 與 Wikimedia Commons)和數十萬次 Wikidata Query Service 查詢,可能造成該服務 5 月的部分中斷。
MIT 教授 Sherry Turkle 在 MIT Future Fest 發布新書《Artificial Intimacy》,討論人類為何本能地把機器人和大模型當作有感情的物件。她引用研究稱約 70% 的人與 AI 互動時會保持禮貌,對話超過第一輪後更常說「請」「謝謝」。同校研究員 Pat Pataranutaporn 認為關鍵不是用法對錯,而是「和 AI 對話時我們在變成誰」,他曾在一名 14 歲少年自殺後其母親起訴 Character.AI 的訴訟中擔任專家。
Einsia AI 旗下 Navers Lab 發布 EmbodiedEvo,讓 Coding Agent 在單個 Playground 場景中通過互動積累程式碼 Skills 與文字 Lessons,凍結經驗後交給新 Agent 在未見場景複用,全程不更新模型權重。在具身評測 RoboDojo 上,它以 45.08 平均分、38.95% 成功率超過所有 VLA/WAM 與 Agent 方法;
Docker 發布 docker-agent,一個 Docker CLI 外掛,可用宣告式 YAML 配置建置、執行和分享 AI 智慧體,無需寫程式碼。它支援多智慧體協作、內建工具與任意 MCP server,模型側相容 OpenAI、Anthropic、Gemini、AWS Bedrock、Mistral、xAI 與 Docker Model Runner,並自帶 think、todo、memory 工具和基於 BM25、嵌入與重排序的 RAG。
Meta 發布開放權重模型 Muse Spark Open,採用混合專家架構,總引數約 816B、每 token 啟用約 42B,可輸入文字、影像、音訊和影片,輸出文字,上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練,能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重,BF16 約 1.5TB,NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
OpenAI 隨新 GPT-6 模型推出名為 Intelligent UI 的新介面,週三起面向 Pro、Plus、Business、Enterprise 使用者全球上線,免費與低價 Go 檔使用者週四可用。ChatGPT 回覆中將大量加入可點選按鈕、任務定製計算器、互動式圖表、可編輯圖形等元素,官方稱目標是讓複雜主題更易學習。使用者可像調整其他個性化設定一樣,減少回覆中的視覺內容。