AISpot

LeCun 論文證明柏拉圖表示假說,JEPA 樣本效率高 42 倍

Hacker News front page官方公告研究

LeCun 參與的論文把柏拉圖表示假說變成定理:在不同模態上分別訓練的 JEPA,只要正樣本是同一場景的兩個好視角,就能學到僅差一個旋轉的相同表示。作者稱下一 token 預測相當於使用壞視角的 JEPA,因而語言模型只能靠規模與視覺對齊;在 14.5 萬條描述到 9.4 億張網路影像文字上驗證了對齊縮放律。相同語料下,好視角所需樣本比下一 token 預測少 42 倍;

首次把柏拉圖表示假說從猜想變成定理,並實測好視角樣本效率高 42 倍、1.09 億引數文字 JEPA 的對齊效果超過至多 720 億引數語言模型,對多模態與高效訓練研究有直接參考價值。

原標題:Proving and Improving the Platonic Representation Hypothesis with JEPAs
閱讀原文

評分80 / 74(平均 77,門檻 76)
狀態精選

相關報導

機器之心● 精選AI 評分80

UCLA 與 Adobe 提出 Tev:27B 模型長程任務追平 GPT-6 Astra

Adobe Research 與 UCLA 提出 Tev 訓練方案:27B 模型在 Agents' Last Exam 計算與數學子集上 Pass@5 達 0.28,追平 GPT-6 Astra 與 Claude Opus 5。做法是先建置含隱藏標準答案的潛在世界再用它渲染出任務環境,據此合成覆蓋 7 個領域、1,170 個環境的 Tev-Gym,單次 rollout 中位耗時 12.4 分鐘、Pass@1 僅 29%。

機器之心● 精選AI 評分68

Jev 走紅,NeurIPS 2025 論文 ConfTuner 早已探索相似思路

TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。

Kimi blog● 精選AI 評分75

Kimi 發布 PerceptionBench,16 個前沿多模態模型準確率均不足 60%

Kimi 團隊發布 PerceptionBench,這是從 42 個現有基準中的真實模型失敗裡歸納出視覺感知能力的評測集,包含 10 類原子感知能力:視覺關係、計數、屬性、深度與 3D、定位、比較、細粒度識別、上下文整合、OCR 與幻覺;共 3000 道經驗證題目,只需看圖即可作答,不依賴推理或外部知識。在 16 個前沿多模態大模型上,沒有一個模型準確率達到 60%,感知相關的幻覺平均是最弱項,總分接近的模型在實際感知內容上也可能差別很大。

機器之心● 精選AI 評分70

DSReg 讓 JEPA 表徵每一維對應真實世界變數

UIUC、冷泉港實驗室等機構提出 DSReg,可直接加在已訓練好的 JEPA(LeJEPA)表徵上,讓每一維對應太陽、溫度等真實世界變數,且不需要重建觀測、解碼器或標籤。方法先估計觀測對錶徵的區域性 Jacobian,再在正交矩陣上最小化稀疏度,找到這個旋轉,理論上首次得到完全可識別的 JEPA。在合成資料、3DShapes 與 dSprites 上,它的恢復效果接近用標籤擬合的監督上界,六個下游任務均優於 LeJEPA,原有預測效能不變。