Ai2 發布基準：LLM 判斷研究新穎性並不可靠
Ai2 發布 Old Ideas, Novel Problems 研究與配套基準，結論是用 LLM 當新穎性評審並不可靠：只改 prompt 裡幾處措辭，模型分辨兩個想法哪個更新的準確率就變動超過 50 個百分點。測試涵蓋 GPT-5.1、GPT-5.2、GPT-5.4 與 Claude Sonnet 4.5、Opus 4.5/4.6，檢索與額外推理都不能穩定改善判斷，兩個專門建置的新穎性評估系統還不如直接用 prompt 呼叫的 Claude Opus 4.6 基線。
用 ICLR 2026 評審標籤實測六個主流模型，量化出新穎性判斷對 prompt 措辭極敏感、準確率可差 50 個百分點以上，併為用 LLM 評審論文與想法的人提供可複用基準和自動建集流水線。
原標題：Can we trust LLMs to judge whether a research idea is novel?
閱讀原文
| 評分 | 76 / 76（平均 76，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
論文：如何讓 System 1 大模型展現 System 2 能力
AAAI 期刊論文《How to make System 1 LLMs show System 2 competencies?》在 Wiley Online Library 上線，研究如何讓直覺式（System 1）大模型表現出慢思考（System 2）的能力。全文需經 Wiley 連結檢視，Hacker News 同期討論帖僅 7 分、1 條評論。原文未披露所用方法、模型與實驗資料。
Ai2 與賓大推出 LitPivot，按研究想法的構成檢索並評論文獻
Ai2 與賓夕法尼亞大學合作推出 LitPivot，把文獻檢索與批評嵌入研究想法的撰寫過程。系統把提案拆成問題、貢獻與評估計劃三部分，用 Asta Paper Finder 檢索論文，按正在編輯的部分分組並高亮相關文獻，再給出附原文摘錄的批評和可接受、編輯或拒絕的改寫建議。17 名研究者的實驗室研究中，兩名不知情的領域專家評定 LitPivot 產出的想法更紮實地依據文獻，參與者自評的新穎性與有用性提升也更大。論文將在 UIST 2026 報告。
研究：讓 LLM 自評置信度不可靠，換個問法分數就變
讓 LLM 輸出置信度分數並不可信：這類數字只是逐 token 續寫出的文字，既沒有反映模型掌握多少證據，也從未針對“答對頻率”做過校準。文章指出，可靠的置信度必須隨資訊量變化，並用大量同類預測與實際結果核對，而 LLM 的分數會在重複提問時從 0.85 變成 0.7，換個措辭或前文寫下“這顯然是正確答案”也會改變數值。作者據此提醒 agent 設計者不要依賴模型自報的置信度。
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。