MaxxBench 微改 DeepSWE 任務,多款模型分數大跌
新基準 MaxxBench 對 DeepSWE 的 89 個任務做小幅修改(參考補丁中位數僅增 17 行),多款模型得分隨之大幅下滑:Gemini 3.8 Flash 從 73.8% 降至 53.4%,DeepSeek V4.1 Flash 從 74.2% 降至 55.6%,Claude Opus 5 從 73.6% 降至 63.5%。
找到 6 筆
新基準 MaxxBench 對 DeepSWE 的 89 個任務做小幅修改(參考補丁中位數僅增 17 行),多款模型得分隨之大幅下滑:Gemini 3.8 Flash 從 73.8% 降至 53.4%,DeepSeek V4.1 Flash 從 74.2% 降至 55.6%,Claude Opus 5 從 73.6% 降至 63.5%。
MiniMax 正式發布 M3.1 Flash,即此前在 OpenRouter 匿名屠榜的 Space Bunny(玉兔)。Agents' Last Exam 得分 29.6%,位列國產模型第一;DeepSWE v1.1 拿到 73.7%,BankerToolBench 以 76.2 分與 Claude Opus 5 並列第一。
OpenAI 發布 GPT-6.1 Sol,定價每百萬輸入/輸出 token 2/10 美元,遠低於 Astra 的 10/50 美元,官方稱其在 DeepSWE v1.1 上超 GPT-6 Sol 6.4 分。Sonnet 5.5 在 Agent Arena 首秀排名第 3 並在 Chat 類別登頂,Anthropic 模型包攬前三。Codex 用量於 10 月 2 日太平洋時間上午 10 點全球重置。
Inkling 2 發布第二代 MoE 模型 Inkling 2 Small:594B 總引數、17B 啟用,支援影像輸入與可變推理力度,智慧指數 31 分。模型先在 Tinker 以閉權重上線,可試用、微調與取樣;完成外部安全測試與紅隊後,計劃下週以 Apache 2.0 許可開放完整權重。官方稱其長時程自主任務與 agentic coding 明顯提升,DeepSWE v1.1 得 72.1%,僅次於 DeepSeek-V4.1-Flash-1017 的 77.0%。
Google 於 10 月 1 日突然發布 Gemini 4 Argon,在 DeepSWE v1.1 上以 77.9% 超過 Claude Opus 5.5 和 GPT-6 Astra,Vals Index 以 68.90% 登頂,Text Arena 以 1525 分居首。優惠期單題成本約低四成,每百萬輸入 Token 2 美元、輸出 Token 10 美元,支援百萬 Token 輸出。目前僅開放給經篩選的網路安全團隊,通過 Fairwind 計劃使用,其他訂閱使用者需等待。
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。