用 Qwen3-1.7B 單次前向做選項決策,CommonsenseQA 準確率 59.4%
把輸出詞表限制在 A–E 等固定選項上、一次前向取最高機率 token,就能讓語言模型直接作答而無需逐 token 生成。作者用 Qwen/Qwen3-1.7B 復現該「決策模型」做法,在 CommonsenseQA 隨機留出樣本上準確率 59.4%、macro F1 0.584,微調後提升到 62.4%。但輸出機率不等於正確率:模型明顯過度自信,0.9–1.0 置信區間實際正確率僅 70%,用溫度縮放擬合出 T≈3.80 來校準。
給出可直接執行的程式碼與 CommonsenseQA 實測數字,說明約束解碼單次前向的決策模型為何快,並展示溫度縮放校準前後置信度與準確率的落差,對關注本地小模型推理與評測的開發者有參考價值。
原標題:Build your own decision model
閱讀原文
| 評分 | 65 / 64(平均 64,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗,169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗:讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf,經 Codex Remote(GPT-6 Astra)執行,關閉推理時每組組合跑 30 次嘗試,開啟推理後每組只跑一次,169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
OpenAI 上線 Decisions API 公測,僅支援 gpt-6-luna
OpenAI 的 Decisions API 進入公測,官方稱其評估文字、影像或兩者並返回結構化答案的速度約為 Responses API 的 10 倍,預計數週內 GA。該 API 使用獨立的 POST /v1/decisions 端點,目前僅支援 gpt-6-luna,問題分三類:predicate 返回條件成立機率(0 到 1)、choice 從給定選項中選一個、score 按有序等級給出機率加權平均分。
LiquidAI 開源 d1-3B 與 d1-omni-600M 邊緣決策模型
LiquidAI 發布 d1 決策模型家族的兩款開放權重模型 d1-3B 與實驗性的 d1-omni-600M,二者都基於 Liquid Foundation Models,不逐 token 生成,而是在單次前向傳播中直接給出答案。d1-3B 在 Decision Index 0.2.1 上得 48.57,為 10B 以下最佳,超過 Decider 35B-A3B 的 47.11;
微軟發布 Decision-1 決策模型,比 GPT-6 Sol 快 35 倍
微軟推出決策評分模型 Microsoft-Decision-1,已在 Microsoft Foundry 上線,並將登陸 OpenRouter。該模型基於 Qwen3.5-9B 後訓練,用於路由、分類、優先順序排序、驗證與工作流控制,支援是/否、多選、評分及對 AI 回答和 agent 動作的 rubric 打分。官方稱其在 36 項基準、近 15 萬道題中準確率最高,P50 延遲比 GPT-6 Sol 快約 35 倍、比第二名 Quyet-1.0-Large 快 4.5 倍;
Strands 開源 2B 決策模型 Strands Decider 2B
Strands Labs 開源了 2B 引數的決策模型 Strands Decider 2B,權重已上 Hugging Face,訓練資料與指令碼一併公開。它基於 Qwen3.5-2B 去掉 LM head、換成約百萬引數的 pointer head 並加 rank-16 LoRA 微調,只能從給定選項中作答或打分,因此不支援編碼、聊天與摘要。