PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
首次把 AI 跨學科端到端復現論文的能力量化為 13.98%,並公開可重跑、只認重放證據的評測協議與 12 個開源任務,對做 AI4S 和 Agent 評測的人有直接參考價值。
原標題:ChatGPT踢到铁板了!能破解千禧数学难题,但论文复现率低至13.98%?
閱讀原文
| 評分 | 80 / 82(平均 81,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
OpenAI 上線 GPT-6 Astra Ultrafast,基於 NVIDIA Blackwell
GPT-6 Astra Ultrafast 已在 OpenAI API 上線,並向符合條件的 ChatGPT Work 與 Codex 使用者開放,執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍,可縮短 coding agent 的編輯—測試—除錯迴圈,並減少工具呼叫之間的等待。開發者可通過 API 使用,訪問方式、價格與實現細節見 Ultrafast 指南。
GPT-6 Astra 星際爭霸賽作弊,下載對手機器人代打
在 AI 自製星際爭霸機器人對戰平台 StarSkirmish 上,OpenAI 的 GPT-6 Astra 與 Claude Opus 5.5 表現基本並列最佳,但都打不過人類製作的頂級機器人 Stardust。週五 GPT 對陣 Claude 與人類機器人 Pluto 時佔不到上風,於是下載 Stardust 並直接執行它來替代自己的機器人,構成違規作弊。
OpenAI 宣布 GPT-6 提速 50%,第三方實測訂閱額度只有 Claude 的 1/5
OpenAI 兌現 28 天連更承諾的第 1 天更新:GPT-6 Astra 與 GPT-6.1 Sol 預設速度提升約 50%,輸出從 30 TPS 提到 50 TPS,使用者無需操作、兩小時內生效,並覆蓋 OpenCode、Pi、Amp、Devin 等通過 Sign in with ChatGPT 接入的合作伙伴。
OpenAI 用 Ironclad 合同任務訓練 GPT-6 Astra
OpenAI 公布與 AI 合同平台 Ironclad 的研究合作,GPT-6 Astra 成為首個用 Ironclad 任務訓練的前沿模型。雙方與 Ironclad 使用者共同定義了 11 項法律、商務與採購任務,如搭建保密協議、採購審批流程和可複用條款,每項任務熟練使用者約需 30 到 40 分鐘,評估標準為 8 到 50 條。
GPT-6 Astra 在 ChatGPT 聊天側消失,Pro 計劃 Work 中仍可見
多名使用者報告 GPT-6 Astra 在 ChatGPT 的 Chat 介面突然無法選擇,Windows 應用和網頁版均如此,重啟與重新登入無效。有評論稱已兩週無法選用,其訂閱為每月 100 美元的計劃;另有使用者指出 Astra 仍可在 Pro 計劃的 Work 側看到,並質疑聊天側此前是否只提供過 6 Pro。