LeCun 論文證明柏拉圖表徵假說：好檢視 JEPA 樣本效率高 42 倍上升
先了解這件事AI 綜述
10 月 29 日，Randall Balestriero 與 Yann LeCun 在 arXiv 提交論文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》，把柏拉圖表徵假說從經驗猜想變成定理，並給出可操作條件。論文證明：在任意數量模態上分別訓練的 JEPA，只要正樣本是同一場景的兩個良好觀察，就會學到僅相差一個旋轉的相同表徵，其他情況下錯位有界；作者進一步論證下一 token 預測相當於使用“壞檢視”（同一文件的片段）的 JEPA，這解釋了語言模型為何只能靠規模與視覺對齊。研究從 14.5 萬條描述驗證到 9.4 億張網路影像的文字，給出一條對齊縮放律，可在種子噪聲內預測未跑過的實驗；相同語料下，好檢視所需樣本比下一 token 預測少 42 倍。機器之心補充了具體數字：達到相近對齊水平時下一 token 預測需 9 億樣本、好檢視 JEPA 僅需 2160 萬；1.09 億引數編碼器訓練 9 億樣本後在 WIT-1024 上對齊分數為 0.184，高於 Qwen2.5-72B 的 0.154 與 Llama-3-70B 的 0.151，並建議訓練文字模型時學習同一場景的不同描述，而非同一句子的截斷版本。對做多模態對齊與訓練較小模型的人來說，資料構造方式可能比堆引數更關鍵。
AI 根據 2 則報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
沒有符合條件的報導。
本事件熱度走勢
為什麼熱
過去 48 小時，有 2 個獨立來源報導，最近 6 小時新增 1 個。熱度 1.4，熱門榜第 1 名。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
事件紀錄
- 最早報導
- 最近更新
同一事件的報導集中在這裡，新的進展會繼續補充。