開源基準 Parsimony 按語法單元統計 AI 新增程式碼量
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
原標題:Show HN: Parsimony – an open-source benchmark for how much code AI models add
閱讀原文
| 評分 | 52 / 48(平均 50,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
PaperBenchX 發布:GPT-6 Astra 完整復現率僅 13.98%
UniPat AI 發布 PaperBenchX,稱其為國際上首個多學科端到端論文結果復現基準,從 93 篇論文建置 93 個復現任務,橫跨電磁、光子、化學、材料、生物、機器人等 12 個研究方向和 10 種領域原生科學環境,含 3168 條專家校驗評分項。在這 93 個任務上,表現最強的 GPT-6 Astra 完整復現率只有 13.98%,建模與執行階段平均得分約 62%,驗證階段僅 42.8%。
OpenAI 預告 Astra 6.1,主打刪減屎山程式碼
OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。
AI 程式設計模型集體滿口黑話:思維鏈壓縮省 70% Token
量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。
OpenAI 瘋狂 28 天首日:GPT-6 提速 50%,網友實測未達標
OpenAI Codex 負責人 Tibo 的 28 天計劃首日,官方宣布 GPT-6 Astra 與 GPT-6.1 Sol 預設推理速度提升約 50%、達 50TPS,覆蓋官方訂閱及 OpenCode、Amp 等第三方接入,但網友實測僅約 35TPS。同期 OpenAI 在 ChatGPT 影像生成中測試視覺廣告,並將在幾週內為歐盟地區 ChatGPT 和 Codex 生成的文字加隱形水印。
Spinal 發布:面向任意程式碼庫的近即時預測介面
Spinal 是面向任意程式碼庫的近即時預測介面,演示以 torvalds/linux(148 萬次提交、9.6 萬個檔案)為樣本。它能標出補丁的改動規模與影響範圍:KVM 檢查重複 vcpu_id 的提交 56 天后被回退;mm 移除 is_cow_mapping() 波及 arch、drivers、fs 等 7 個模組,+107/−38;net selftests 新增 380 行手寫程式碼覆蓋 UDP splice 校驗和分片對齊。