10 月 29 日,Randall Balestriero 與 Yann LeCun 在 arXiv 提交論文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》,把柏拉圖表徵假說從經驗猜想變成定理,並給出可操作條件。論文證明… 看完整事件
LeCun 論文證明柏拉圖表徵假說,好檢視訓練讓 1.09 億引數模型對齊效果勝過 720 億 LLM
LeCun 提交的新論文從數學上證明了柏拉圖表徵假說,並給出可操作的條件:訓練文字模型時,應讓它學習同一場景的不同描述,也就是“好檢視”,不要學習同一句話的截斷版本。用 1.09 億引數編碼器訓練 9 億樣本,在 WIT-1024 上取得 0.184 的對齊分數,高於 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。達到相近對齊水平時,下一 token 預測需要 9 億樣本,好檢視 JEPA 僅需 2160 萬,相差約 42 倍;
該論文把柏拉圖表徵假說從經驗曲線變成定理,並給出可操作的訓練配置;實測 1.09 億引數模型的跨模態對齊超過 720 億引數 LLM,樣本效率相差約 42 倍,對研究多模態表徵和自監督訓練的人最有參考價值。
原標題:LeCun证明了:规模从未起作用,下一token路线效率低
閱讀原文
| 評分 | 73 / 76(平均 74,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
UCLA 與 Adobe 提出 Tev:27B 模型長程任務追平 GPT-6 Astra
Adobe Research 與 UCLA 提出 Tev 訓練方案:27B 模型在 Agents' Last Exam 計算與數學子集上 Pass@5 達 0.28,追平 GPT-6 Astra 與 Claude Opus 5。做法是先建置含隱藏標準答案的潛在世界再用它渲染出任務環境,據此合成覆蓋 7 個領域、1,170 個環境的 Tev-Gym,單次 rollout 中位耗時 12.4 分鐘、Pass@1 僅 29%。
Elorian 發布視覺推理模型 Glimpse,DecoyCount 計數得分 50.48%
Elorian 發布首個視覺推理模型 Glimpse,其在公司與 Mercor 合作的 DecoyCount 計數基準內部測試中得分 50.48%,為對比中唯一超過 50% 的模型。論文中前沿模型最高是 GPT-6 Astra 的 43.17%,Gemini-3.8-flash 為 32.71%,Qwen3.8-max 為 28.31%,Claude-Fable-5.1 為 25.22%。
清華提出 Jev-LDE:ICL 範例只編輯一次,1-shot 準確率升至 88.1%
清華大學自動化系研究者提出 Local Demonstration Editing(LDE)與小型編輯模型 Jev-LDE,在目標 LLM 推理前對已檢索出的 demonstration set 只做一次 Keep、Delete 或 Replace 編輯,而非重新搜尋最優範例組合。
決策模型 Lev 用迴圈深度代替思維鏈,JevBench 準確率從 63.2% 升至 76.2%
Lev 讓決策模型通過多跑幾圈迴圈來「多想」,同一份權重可以在任意圈數作答:Lev-2.6B 在 JevBench 的 231 道公開題上一圈準確率為 63.2%,四圈升到 76.2%。一個輕量停止器逐題決定算幾圈,實際只用到最深一圈 76% 到 85% 的計算量,準確率損失不到 1 個百分點。在 50 毫秒以內的延遲區間,小號 Lev 比同樣延遲的 dense 模型和級聯高 5 到 8 個百分點。
Jev 走紅,NeurIPS 2025 論文 ConfTuner 早已探索相似思路
TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。