CMU 等發布化學採購成本基準 ChemCost,最強智慧體準確率僅 50.6%
CMU、聖母大學等發布化學採購成本基準 ChemCost,最強智慧體在乾淨輸入下僅 50.6% 的估算誤差在 25% 以內。基準包含 1,427 個反應、2,261 種化學品和 230,775 條供應商包裝報價,要求智慧體完成名稱對齊、報價檢索、包裝選擇、單位換算與成本彙總,全程無需裁判。人類專家同任務準確率為 66.9%;輸入改為自然語言段落和 OCR 文字後,前沿模型準確率降至約 20%,化學專用模型接近 0。
首個無需裁判的多步化學採購成本基準,用凍結報價快照把科學智慧體從路線規劃拉到定量算賬,實測暴露工具呼叫與數值推理的斷層,對做科學智慧體和化學 LLM 評測的人有直接參考價值。
原標題:智能体能给化学反应「算笔账」吗?CMU、圣母大学等提出化学采购成本推理基准 ChemCost,入选 NeurIPS 2026
閱讀原文
| 評分 | 70 / 74(平均 72,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
清華等推出 OSWorld-Science,12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
研究:Claude 與 ChatGPT 按財富水平給出不同購物價格
彭博 Tech In Depth 通訊報導,一項研究顯示 Claude 與 ChatGPT 會根據使用者財富水平給出不同的購物價格與建議。該文由彭博英國政策記者 Jacob Reid 撰寫,發布時間為 2026 年 10 月 7 日,原文為訂閱者專享,未披露研究機構、測試方法與具體價差。
VocabX 按成本重構詞表,Qwen3-4B 推理成本實測降 77%
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。
Asana 用 GPT-6 Astra 最佳化瀏覽器智慧體,成本降 76 倍
Asana 在 Codex 中用 GPT-6 Astra 改造 StackAI 瀏覽器智慧體工作流,在 GPT-6.1 Sol 上把單次執行的預估模型成本降至 0.47 美元、約 4 分鐘,比原生產環境所用的 Model B 便宜 76 倍、快 5 倍。144 次測試覆蓋四款前沿模型,最佳化手段包括把快取擴充套件到瀏覽歷史、把文字歷史預算放寬到 12 萬與 48 萬字元、截圖累積到 20 張再批次清理。
Anthropic 發布 Claude Haiku 5.5,執行成本較上代降約 75%
Anthropic 發布 Claude Haiku 5.5,官方稱其是迄今最便宜、最快、能力最強的小模型,平均執行成本比 Haiku 4.5 低約 75%。定價為每百萬 token 輸入 0.10 美元、輸出 0.50 美元(提示 10 萬 token 以內),並首次在 Haiku 級模型上提供可調 effort 設定,用於權衡成本與智慧。