AISpot

Google 開源 CLASHarness:15 個主流模型衝突任務通過率不足 30%

機器之心官方公告研究開源

Google 聯合多所高校開源 CLASHarness,這是首個針對多 Agent 衝突場景的 Computer Use 基準:在 600 個任務、20 步限制下,15 個前沿模型的端到端通過率無一突破 30%,最高為 Claude Opus 5 的 25.2%,GPT-5.6 Sol 24.5%,放開步數後 GPT-6 Astra 達 28.7%,開源 Kimi K3 以 21.8% 排第五。資料集覆蓋 20 個真實領域、7,970 張 4K 視覺證據圖、3,284 項檢查點。

首次把隊友 Agent 報假訊息、搶鎖這類衝突做成 600 個可驗證任務,並以 9,000+ 條沙盒軌跡給出 15 個模型的橫向排名和失敗環節拆解,對做多 Agent 編排與 Computer Use 評測的開發者最有參考價值。

原標題:当Agent遇上「猪队友」:谷歌开源CLASHarness,实测前沿大模型如何应对多Agent冲突场景
閱讀原文

評分82 / 78(平均 80,門檻 65)
狀態精選

相關報導

量子位● 精選AI 評分79

Google 開源 Harness²,讓 Agent 在執行中改進自身腳手架

Google 開源了 Harness²,這是一套雙層遞迴框架,讓 Agent 在執行時自行修改腳手架、系統提示詞、工具鏈與技能庫。它在沒有標準答案時,用 Propose–Probe–Compose 對改動做行為對比篩選,並把除錯經驗寫進經驗庫,供後續任務檢索複用。實測 GLM-5 在 OpenCode 下執行 WorkBuddy-Bench,得分從 64.2 升到 75.7(+11.5 分),反超未改腳手架的 Gemini 3.5 Flash(72.4);

OpenAI News● 精選AI 評分67

OpenAI 用 Ironclad 合同任務訓練 GPT-6 Astra

OpenAI 公布與 AI 合同平台 Ironclad 的研究合作,GPT-6 Astra 成為首個用 Ironclad 任務訓練的前沿模型。雙方與 Ironclad 使用者共同定義了 11 項法律、商務與採購任務,如搭建保密協議、採購審批流程和可複用條款,每項任務熟練使用者約需 30 到 40 分鐘,評估標準為 8 到 50 條。

機器之心● 精選AI 評分78

CodeActionBench 發布:GPT-6 Astra 機器人操作成功率 73.3%

南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。

Hacker News front page● 精選AI 評分79

StarSkirmish v0.2:GPT-6 Astra 寫星際爭霸 bot 居首,Sol 成本僅十分之一

StarSkirmish Bench v0.2 結果公布:模型用一小時寫一個星際爭霸:母巢之戰的 C++ 神族 bot,GPT-6 Astra 得分最高,GPT-6.1 Sol 以約十分之一的單次成本排第二。Gemini 4 Argon 第三,與 Claude Opus 5.5、Claude Fable 5.1 基本並列(37–39 分)。