Hugging Face blog● 精選AI 評分76
Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。