AISpot

輝達與 UT-Austin 發布 Realtime-Bench,最強模型成功率僅 36%

機器之心新聞報導研究

輝達與 UT-Austin 等機構發布即時互動基準 Realtime-Bench,12 個前沿模型裡最強的 GPT-6-Astra 在按真實推理耗時推進環境時,Pass^3 也只有 36%。該基準包含 30 個網頁任務和 20 個遊戲任務,要求模型在限時視窗內觀察變化、決定思考多久並抓住行動時機,並用 Wall Clock、Paused Clock、Token Clock 三種時鐘協議對比。結果顯示低延遲並不等於可靠:延遲低於 1 秒的 Jev Pass^3 僅 8%;

用三種時鐘協議把延遲與推理的取捨拆開量化,並給出 12 個前沿模型的 Pass^3 實測數字,對開發即時 agent、語音與遊戲類應用的團隊有直接參考價值。

原標題:英伟达、UT-Austin发布Realtime-Bench,实时互动任务难倒GPT-6
閱讀原文

評分80 / 77(平均 78,門檻 65)
狀態精選

相關報導

Hacker News front page● 精選AI 評分80

RL 後訓練 4B 模型即時駕駛飛行跑車,90% 成功率勝過 GPT-6 Astra

有人用物理模擬搭了個飛行版特斯拉 Roadster 的強化學習環境,測各家大模型能不能即時把車飛起來,結果經 RL 後訓練的 4B 小模型即時落地成功率 90%,主流大模型即時成功率為 0。車每 0.2 秒要一個新指令,而 DeepSeek V4.1 Flash、Nemotron 3.5 Super、Muse Spark Open、Beam 1.0 和 GPT-6 Astra 單次回覆要 1 到 6 秒,全部墜毀;

量子位● 精選AI 評分81

PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%

UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。

NVIDIA blog● 精選AI 評分85

OpenAI 上線 GPT-6 Astra Ultrafast,基於 NVIDIA Blackwell

GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。

X @OpenAIDevs● 精選AI 評分78

@OpenAIDevs: On Agents’ Last Exam, a benchmark that tests how well agents use complex professional software, GPT…

在 Agents' Last Exam 這項測試 agent 使用複雜專業軟體的基準上,GPT-6.1 Terra 達到 Astra 級表現,任務完成速度超過 3 倍,每 token 成本僅為十分之一。OpenAI 稱這套價效比可用於技術圖紙解讀、影像分析、介面導航與視覺流程自動化等應用。面向專業程式設計、研究與深度推理任務,GPT-6.1 Sol 與 GPT-6 Astra 仍是最強模型。

機器之心● 精選AI 評分80

UCLA 與 Adobe 提出 Tev:27B 模型長程任務追平 GPT-6 Astra

Adobe Research 與 UCLA 提出 Tev 訓練方案:27B 模型在 Agents' Last Exam 計算與數學子集上 Pass@5 達 0.28,追平 GPT-6 Astra 與 Claude Opus 5。做法是先建置含隱藏標準答案的潛在世界再用它渲染出任務環境,據此合成覆蓋 7 個領域、1,170 個環境的 Tev-Gym,單次 rollout 中位耗時 12.4 分鐘、Pass@1 僅 29%。