Hacker News front pageAI 評分60
研究：讓 LLM 自評置信度不可靠，換個問法分數就變
讓 LLM 輸出置信度分數並不可信：這類數字只是逐 token 續寫出的文字，既沒有反映模型掌握多少證據，也從未針對“答對頻率”做過校準。文章指出，可靠的置信度必須隨資訊量變化，並用大量同類預測與實際結果核對，而 LLM 的分數會在重複提問時從 0.85 變成 0.7，換個措辭或前文寫下“這顯然是正確答案”也會改變數值。作者據此提醒 agent 設計者不要依賴模型自報的置信度。
找到 1 筆；也可以試試 語意搜尋
讓 LLM 輸出置信度分數並不可信：這類數字只是逐 token 續寫出的文字，既沒有反映模型掌握多少證據，也從未針對“答對頻率”做過校準。文章指出，可靠的置信度必須隨資訊量變化，並用大量同類預測與實際結果核對，而 LLM 的分數會在重複提問時從 0.85 變成 0.7，換個措辭或前文寫下“這顯然是正確答案”也會改變數值。作者據此提醒 agent 設計者不要依賴模型自報的置信度。