AISpot

MaxxBench 微改 DeepSWE 任務,多款模型分數大跌

Hacker News front page評測研究

新基準 MaxxBench 對 DeepSWE 的 89 個任務做小幅修改(參考補丁中位數僅增 17 行),多款模型得分隨之大幅下滑:Gemini 3.8 Flash 從 73.8% 降至 53.4%,DeepSeek V4.1 Flash 從 74.2% 降至 55.6%,Claude Opus 5 從 73.6% 降至 63.5%。

中位數僅 17 行的需求變更就能把模型分差從 20.9 個百分點拉到 48.3,說明榜單分數未必反映適應需求修改的能力,對靠基準挑選 coding agent 或模型的人有直接參考價值。

原標題:MaxxBench – "Nice DeepSWE score. But is it true?"
閱讀原文

評分80 / 78(平均 79,門檻 76)
狀態精選

相關報導

量子位● 精選AI 評分92

DeepSeek 發布 V4.1-Flash-1017,同步開放自研搜尋 API

DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,網頁端、App 與 API 已同步切換。相比上一版 V4.1 Flash,程式碼與 Agent 任務等基準測試全面上漲,同時任務執行時間和輸出長度下降,官方稱其為效能—費用的帕累托改進;完整使用需把 DeepSeek Harness 升級至 0.2.1-rc.1 及以上,新使用者首次登入 Harness 可領 6 元贈金,7 天內有效、限量發放。

Latent Space● 精選AI 評分87

DeepSeek 開源推理棧 DeepInfer,單叢集日處理 155 萬億 token

DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;