機器之心● 精選AI 評分72
CMU 等發布化學採購成本基準 ChemCost，最強智慧體準確率僅 50.6%
CMU、聖母大學等發布化學採購成本基準 ChemCost，最強智慧體在乾淨輸入下僅 50.6% 的估算誤差在 25% 以內。基準包含 1,427 個反應、2,261 種化學品和 230,775 條供應商包裝報價，要求智慧體完成名稱對齊、報價檢索、包裝選擇、單位換算與成本彙總，全程無需裁判。人類專家同任務準確率為 66.9%；輸入改為自然語言段落和 OCR 文字後，前沿模型準確率降至約 20%，化學專用模型接近 0。