機器之心● 精選AI 評分74
LeCun 論文證明柏拉圖表徵假說，好檢視訓練讓 1.09 億引數模型對齊效果勝過 720 億 LLM
LeCun 提交的新論文從數學上證明了柏拉圖表徵假說，並給出可操作的條件：訓練文字模型時，應讓它學習同一場景的不同描述，也就是“好檢視”，不要學習同一句話的截斷版本。用 1.09 億引數編碼器訓練 9 億樣本，在 WIT-1024 上取得 0.184 的對齊分數，高於 Qwen2.5-72B 的 0.154 和 Llama-3-70B 的 0.151。達到相近對齊水平時，下一 token 預測需要 9 億樣本，好檢視 JEPA 僅需 2160 萬，相差約 42 倍；