RL 後訓練 4B 模型即時駕駛飛行跑車，90% 成功率勝過 GPT-6 Astra
有人用物理模擬搭了個飛行版特斯拉 Roadster 的強化學習環境，測各家大模型能不能即時把車飛起來，結果經 RL 後訓練的 4B 小模型即時落地成功率 90%，主流大模型即時成功率為 0。車每 0.2 秒要一個新指令，而 DeepSeek V4.1 Flash、Nemotron 3.5 Super、Muse Spark Open、Beam 1.0 和 GPT-6 Astra 單次回覆要 1 到 6 秒，全部墜毀；
它給出了即時控制場景下延遲比模型能力更關鍵的實測對比：13 美元訓練的 4B 反超 GPT-6 Astra，且環境開源、無 GPU 即可復現，對做 agent 與小模型落地的人有參考價值。
原標題：Post-training 4B model with RL to fly Tesla Roadster 21% better than GPT-6 Astra
閱讀原文
| 評分 | 80 / 80（平均 80，門檻 76） |
|---|---|
| 狀態 | 精選 |
相關報導
@GoogleDeepMind
@OpenAIDevs: On Agents’ Last Exam, a benchmark that tests how well agents use complex professional software, GPT…
在 Agents' Last Exam 這項測試 agent 使用複雜專業軟體的基準上，GPT-6.1 Terra 達到 Astra 級表現，任務完成速度超過 3 倍，每 token 成本僅為十分之一。OpenAI 稱這套價效比可用於技術圖紙解讀、影像分析、介面導航與視覺流程自動化等應用。面向專業程式設計、研究與深度推理任務，GPT-6.1 Sol 與 GPT-6 Astra 仍是最強模型。
UCLA 與 Adobe 提出 Tev：27B 模型長程任務追平 GPT-6 Astra
Adobe Research 與 UCLA 提出 Tev 訓練方案：27B 模型在 Agents' Last Exam 計算與數學子集上 Pass@5 達 0.28，追平 GPT-6 Astra 與 Claude Opus 5。做法是先建置含隱藏標準答案的潛在世界再用它渲染出任務環境，據此合成覆蓋 7 個領域、1,170 個環境的 Tev-Gym，單次 rollout 中位耗時 12.4 分鐘、Pass@1 僅 29%。
阿里千問 TRACE 讓 FP4 強化學習 Rollout 最高提速 5.4 倍
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
RLTL;DR：讓模型從失敗中自寫反饋實現自我改進
論文提出 RLTL;DR 方法：在可驗證獎勵強化學習（RLVR）中，當任務難到模型幾乎無法成功、又沒有教師模型或範例解可蒸餾時，讓策略在每次失敗後檢視驗證器輸出，並自行寫出一條 TL;DR 式反饋，下一次 rollout 以此為條件。該方法面向自我改進場景，替代只最佳化成功嘗試的常見做法。