研究：讓 LLM 自評置信度不可靠，換個問法分數就變
讓 LLM 輸出置信度分數並不可信：這類數字只是逐 token 續寫出的文字，既沒有反映模型掌握多少證據，也從未針對“答對頻率”做過校準。文章指出，可靠的置信度必須隨資訊量變化，並用大量同類預測與實際結果核對，而 LLM 的分數會在重複提問時從 0.85 變成 0.7，換個措辭或前文寫下“這顯然是正確答案”也會改變數值。作者據此提醒 agent 設計者不要依賴模型自報的置信度。
把“讓模型自評置信度”拆成校準與資訊量兩個可驗證條件，並給出重問、改措辭、前文誘導三種可自行復現的失敗方式，對用 LLM 搭建 agent、設定置信度閾值或做評估的人直接有用。
原標題：Using LLM for confidence scoring is a bad idea
閱讀原文
| 評分 | 58 / 62（平均 60，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Jev 走紅，NeurIPS 2025 論文 ConfTuner 早已探索相似思路
TypeSafe AI 的 Jev 模型近期走紅，其介面可直接返回預設選項、分數或事件機率，供程式碼呼叫，但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score，僅用對錯標籤即可訓練置信度機率分佈，在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884，4 張 A40 上約 4 分鐘完成微調。
用 Qwen3-1.7B 單次前向做選項決策，CommonsenseQA 準確率 59.4%
把輸出詞表限制在 A–E 等固定選項上、一次前向取最高機率 token，就能讓語言模型直接作答而無需逐 token 生成。作者用 Qwen/Qwen3-1.7B 復現該「決策模型」做法，在 CommonsenseQA 隨機留出樣本上準確率 59.4%、macro F1 0.584，微調後提升到 62.4%。但輸出機率不等於正確率：模型明顯過度自信，0.9–1.0 置信區間實際正確率僅 70%，用溫度縮放擬合出 T≈3.80 來校準。
@OpenAIDevs: Powered by GPT-6 Luna, it accepts text and image inputs and supports 3 kinds of outputs:
OpenAI 開發者帳號披露 GPT-6 Luna：該模型接受文字與影像輸入，支援三種輸出形式。Predicates 用於估計某條陳述為真的機率；Choices 從預設選項中做出選擇並給出置信度分數；Scores 按數值區間對輸入進行評分。帖子只描述了輸入輸出能力，未提及定價、上下文長度、可用範圍或上線時間。
LLM 並非不可避免：技術必然性需滿足四條標準
一篇評論文章反駁 AI「不可避免」的流行說法，提出判斷一項技術是否真正必然的四條標準：能完成任務且不顯著遜色、該任務有社會價值且依賴稀缺勞動力、輸出在量或質上壓倒性超越替代方案、不用它的人無法靠改變行為抵消其影響，四條全中才算不可避免。作者以火藥與火炮為例：歐洲政治碎片化、工事多為高薄牆，火炮攻城效率遠超配重投石機，各國不得不盡快採用；而中國以夯土城牆為主，火炮價值低得多。文章認為 LLM 支持者的邏輯正是：不用的人會在權力上落後，最終受制於使用者。
Karpathy 用 16200 次座標提問測試 LLM 地理能力
Karpathy 分享了一個簡單評測：向 LLM 提問「陸地還是海洋？」並給出經緯度文字座標，共詢問 16200 次後繪製成影像。結果顯示模型能正確判斷，他認為這來自對網際網路資料的壓縮。