免訓練評測視覺編碼器 RAVEL 提出,相關性達 0.85
多模態大模型選視覺編碼器有了免訓練評測方法 RAVEL,在三個 LLM 上其評分與下游實際表現的 Spearman 相關係數平均達 0.85。團隊訓練評測了 210 個 MLLM(70 個視覺編碼器配置 × Qwen3-1.7B、Qwen2.5-1.5B、SmolLM2-1.7B),發現候選池擴大後原有跨模態指標失效,甚至不如單模態指標。
依意思最接近的 28 筆
多模態大模型選視覺編碼器有了免訓練評測方法 RAVEL,在三個 LLM 上其評分與下游實際表現的 Spearman 相關係數平均達 0.85。團隊訓練評測了 210 個 MLLM(70 個視覺編碼器配置 × Qwen3-1.7B、Qwen2.5-1.5B、SmolLM2-1.7B),發現候選池擴大後原有跨模態指標失效,甚至不如單模態指標。
AWS 工程師 Marc Brooker 用實驗比較編碼器與解碼器架構在 strands-decider 上的表現,結論是這一規模下兩者都沒有明顯優勢。編碼器-only 的 e1b 延遲中位數約 35ms,低於基於 Qwen3.5 改造的 2B 解碼器 v19 的 65ms,精度大致相當,但 prompt 變長後擴充套件性更差;
何愷明團隊提出視覺原生 Harness 框架 VISTA,讓現有多模態模型無需重新訓練,就能儲存原始畫面並在推理時按需回看、放大細節。VISTA 把環境返回的每幀畫面按回合號、幀號索引存到上下文之外,預設只向模型展示最後一幀,需要時用 inspect 工具調取歷史畫面。搭配該框架,Claude Opus 5.0 通關 ARC-AGI-3 全部 25 個公開遊戲,動作效率得分滿分 100,所用動作數比人類首次遊玩基線少 57.4%;
何愷明團隊發布 NAT-ARC,用 ImageNet 上 MAE 預訓練的視覺編碼器解 ARC 抽象推理題,最佳單模型(0.6B 引數)在 ARC-1 上 pass@2 達 63.4%,整合後 70.2%。該方法不依賴 LLM,預訓練階段不使用 ARC 格子,僅複用 MAE 公開 checkpoint,測試時對每題做 LoRA 微調。論文稱這是純視覺方案首次逼近專用 LLM 系統水平,並顯示預訓練打通了視覺路線的 scaling 瓶頸。
OpenCode 發布 v1.18.35,核心改進是新增 canonical redirects,並提供 JSON 與 Markdown 兩種格式的 agent 可讀統計資料。本次修復讓 xAI 的工具呼叫結果可以攜帶受支援的圖片,不支援的圖片格式會被跳過,做法是把 @ai-sdk/xai 升級到 3.0.139。文件方面,Zen 文件新增 Fledge Alpha Free,生態外掛列表加入 opencode-supabase,該版本同時致謝 3 位社群貢獻者。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
10 月 15 日,合肥科學視覺化公司可視科學(SciVisual)官宣完成天使輪及天使+輪融資,累計數千萬元,投資方為上海未來產業基金、厚雪資本與浦東創投。公司把核聚變裝置、先進光源等大科學裝置從幾何、部件、材料到物理邏輯編譯成 AI 可呼叫推理的三維資料,已服務 60 餘位院士、800 餘名科學家,覆蓋 20 餘座國家大科學裝置、300 餘個前沿科學設施。其自研輕量化演算法可將模型網格數量壓縮 99% 以上,使原本只有工作站能處理的模型在個人電腦上執行。
一位開發者撰文稱,AI 輔助程式設計(vibecoding)只把樂趣前置:能快速做出可用原型,但重構和維護階段不再有趣,也缺少手寫程式碼帶來的成就感。他把建造的樂趣分為六種,認為 vibecoding 只能滿足「想到點子」「把點子變成現實」和「解決自己的問題」三類,攻堅後的成就感、作品完成的滿足感與學習樂趣都不會自然產生。他仍用 AI 做出了一些手工做不出來的東西,包括即時野火預警系統、Kobo 資料庫遷移助手和即時音準訓練應用,但表示過程不像自己寫小指令碼那樣好玩。
Elorian 發布首個模型 Glimpse,主打「視覺草稿空間」:模型在推理過程中可反覆回到原圖,裁剪區域性、抽取影片幀,或執行程式碼去測量和比較。該模型以研究預覽形式上線,提供 API,聊天介面需排隊;輸入每百萬 token 0.60 美元、輸出 3 美元。Elorian 稱其用幾百塊 GPU 訓練、規模遠小於對標的前沿模型,卻在科學圖表推理和短影片描述上超過 GPT-6 Astra。首批目標是機器人、科研、媒體等握有大量影片的公司。
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》,系統梳理自迴歸影片生成中的 Memory 機制。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
Einsia AI 旗下 Navers Lab 發布 EmbodiedEvo,讓 Coding Agent 在單個 Playground 場景中通過互動積累程式碼 Skills 與文字 Lessons,凍結經驗後交給新 Agent 在未見場景複用,全程不更新模型權重。在具身評測 RoboDojo 上,它以 45.08 平均分、38.95% 成功率超過所有 VLA/WAM 與 Agent 方法;
班·艾佛列克在引述中表示,視覺特效工作流多年來一直包含機器學習,他把卷積神經網路(CNN)稱為 transformer 的前身,區別在於後者能同時做更多計算。他自述能寫「很糟糕的 Python 指令碼」,並解釋張量是畫面在數值上的翻譯——批次號、幀號,以及每幀每個畫素的紅綠藍值。CNN 在張量上做邊緣檢測與特徵提取,識別出窗臺在哪裡,就能更容易地把綠幕部分摳掉並替換成別的內容。
Honeycomb 提出用六張固定尺寸的二維特徵平面(HexMemory)儲存場景,讓影片世界模型的記憶不隨影片長度增長。預設配置為 512 解析度、特徵秩 48,約 73.9 MB;降到 256 解析度後僅 19.8 MB,閉環 PSNR 只從 17.22 dB 微降到 17.10 dB。在 WorldScore 閉環重訪測試中它取得最佳結果:PSNR 17.22 dB、SSIM 0.504、光流誤差 3.00 畫素,明顯優於 Spatia 的 6.64 畫素。
一篇開發者回顧稱,Opus 4.5/6 出現後,其編碼生產力從此前略有提升變為約 3 倍,依據是數月合併 PR 的數量。此前他經歷了 ChatGPT 複製程式碼、Cursor 製表符補全和 Claude 的 agentic 程式設計,仍需把程式碼庫放在腦中並逐行審查;提升後 PR 成為瓶頸,標準庫與既有模式更受重視。文章還提到,早期用 ChatGPT 做 Python 計算機視覺專案時,幻覺暴露了模型知識的邊界,需要自行補上文件不足或獨特用例的部分。
哈工大(深圳)與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM,面向影片世界模型,實際壓縮最高 6.20 倍。研究指出,現有量化方法在 VBench 等指標上接近 BF16,畫面卻仍有閃爍、模糊和失真,原因是 Key 的量化誤差改變了注意力分數排序,使模型選中不同的歷史幀或影像塊。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
Google DeepMind 官方帳號提到,Apptronik 的 Argon 能把影片變成物理 AI 的訓練場,將原本需要數週的人工建模壓縮到幾個小時。這條推文以回覆 @Apptronik 的形式發出,正文只有這一句說明和一個 goo.gle 短連結,沒有披露涉及的機器人平台、影片資料規模或可用範圍。資訊發布於 2026 年 10 月 13 日。
Higgsfield AI 藉助 GPT-6 Astra,把 AI 生成影片的時長從原先約 1 分鐘提升到 10 分鐘以上,CEO Alex Mashrabov 稱這緩解了長影片中畫面一致性的難題。配合 GPT-Image-2.5,平台可穩定渲染影像上的文字與資訊圖,服務缺少製作預算的小商家。Codex 讓約 200 名創意人員把想法直接做成軟體原型,團隊還用 GPT-6 Astra 生成長度超 10 分鐘的教學影片。
OpenAI 的 Codex 大使在多座城市辦起 Astra Commons 咖啡館聚會,參與者現場用 Astra 動手做東西。倫敦的 Rohith 做出動畫工具 Forma,帶水母演示;西拉法葉的參加者合力搭建視覺化裝置並在咖啡館投影;馬尼拉一位沒有程式設計背景的燈光音響師用 Astra 原型出樹莓派視覺化裝置;布宜諾斯艾利斯的主辦者用 Codex 做了個工具,把一半名額留給此前沒搶到的人。OpenAI 表示也願意支援做 demo 與教程的創作者。
OpenAI 的 Codex 大使在多座城市辦起 Astra Commons 咖啡館聚會,參與者現場用 Astra 動手做東西。倫敦的 Rohith 做出動畫工具 Forma,帶水母演示;西拉法葉的參加者合力搭建視覺化裝置並在咖啡館投影;馬尼拉一位沒有程式設計背景的燈光音響師用 Astra 原型出樹莓派視覺化裝置;布宜諾斯艾利斯的主辦者用 Codex 做了個工具,把一半名額留給此前沒搶到的人。OpenAI 表示也願意支援做 demo 與教程的創作者。
一位使用者僅向 Opus 5.5 提供創意、工作資料夾和音樂檔案,模型便自主完成了從調研到成片的全流程。它檢索了四年 AI 發展資料與素材,擷取文章和介面截圖,編寫 HTML 與動畫程式碼,用 Playwright 渲染畫面、FFmpeg 合成並加入音效,最終輸出完整影片。
Artificial Analysis 最新文生影片榜單中,影視公司 Utopai Studios 的模型 Utopai X 以 1150 分位列第二,與第一名阿里 Wan 3.0 僅差 7 分,據福布斯估算其估值約 10 億美元。該榜單由評審在不知道模型名字的情況下盲投產生;Utopai X 以 MiniMax 開源的影片模型 H3 為底子做後訓練,10 項能力中有 7 項比基座更接近頂尖水平,音訊同步、運鏡控制與物理提升最明顯。
一位有基礎程式設計經驗的使用者稱,用 Opus 5.5 在約兩打提示詞內完成了一整款遊戲,包括玩法、畫面、音效與音樂,全程未寫一行程式碼;模型還能自寫測試、最佳化速度並修復觀察到的 bug。在室內導航對比中,Opus 5.5 的掃描與追蹤準確,Astra 開箱即用效果差,評分約 2/10 對 9/10。該使用者也指出 Claude 常提示工具使用過多或任務未完成,且超出額度後無法繼續使用。
何愷明團隊發布新研究,模型通過觀看貓影片就能學會 ARC 挑戰,也就是用與任務無關的影片資料獲得抽象推理能力。ARC 是用於評測抽象推理能力的基準。目前該資料只有標題,論文方法、評測分數與程式碼等細節尚未披露。
Artificial Analysis 的 Video Arena 文生影片排行榜上,影視公司 Utopai 的定製模型 Utopai X 以 1150 的 Elo 評分位列全球第二、全美第一,這是該榜採用雙盲投票以來首次有影視公司定製模型進入前列。Utopai X 基於 MiniMax H3 架構做深度定製後訓練,在評測的 10 項細分能力中 7 項超越基座模型,音訊同步與物理規律排名第一,光照與材質、鏡頭控制排名第二。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,該模型通過帶自我反饋的強化學習提升端到端專案開發能力,覆蓋從遊戲製作到 3D 建模的完整流程。官方以演示形式展示實際效果,未在帖文中給出引數規模、上下文長度或 API 價格等資訊。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,權重以 MIT 許可開放。官方稱其在推理、程式設計、Agent 與視覺基準上均有提升,同時縮短任務執行時間與輸出長度:Terminal-Bench 4.0 從 31.2 升至 42.3,Apex Bench v1.1 從 64.6 升至 72.1,HLE(無工具)從 36.8 升至 42.6。