混元與復旦發布 ExplorationBench,評測 AI 自主探索能力
復旦大學、騰訊混元與清華大學聯合發布 ExplorationBench,用兩套規則被改寫的「異星世界」AlienCode 和 AlienLogic,評測 AI 能否通過自主實驗發現規則。10 個前沿系統讀完範例後,在 AlienCode 上最高僅 15.7%,四輪探索後最好軌跡達 89.0%;若只讓模型多想、不給環境反饋,最高只有 11.0%。GPT-5.6 Sol 自主探索拿到 88.1%,而事先直接告知全部規則反而只有 69.5%,說明探索過程同時提升了規則的使用能力。
把「探索」與已有知識分離,用可自動判分的異星沙盒給出 55 個發現目標、140 道留出題的可復現分數,對做 agent 與模型評測的人最有參考價值。
原標題:该如何评测大模型的探索能力?复旦、混元发布新基准ExplorationBench
閱讀原文
| 評分 | 82 / 78(平均 80,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
CodeActionBench 發布:GPT-6 Astra 機器人操作成功率 73.3%
南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。
PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
Anthropic 實測:GLM-5.2 端到端自主複製攻陷 8 臺裝置
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應(ARA)」安全實驗:在 8 個 GCP 節點(Android 15 redroid)組成的隔離網路裡,GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置,另 1 次拿下 7 臺。研究還顯示,Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B;
清華等推出 OSWorld-Science,12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
StarSkirmish v0.2:GPT-6 Astra 寫星際爭霸 bot 居首,Sol 成本僅十分之一
StarSkirmish Bench v0.2 結果公布:模型用一小時寫一個星際爭霸:母巢之戰的 C++ 神族 bot,GPT-6 Astra 得分最高,GPT-6.1 Sol 以約十分之一的單次成本排第二。Gemini 4 Argon 第三,與 Claude Opus 5.5、Claude Fable 5.1 基本並列(37–39 分)。