資料庫終態校驗當 RL 獎勵：Qwen3.8-27B 成功率升至 60.78%
微軟與 Hugging Face 開源 ThinkingBox-Training，把 ThinkingBox-Bench 中對資料庫終態的可執行 1/0 校驗直接當作強化學習獎勵，用 GRPO 對 Qwen3.8-27B 訓練 50 步：pass@1 從 51.70% 升至 60.78%（+9.08 個百分點），20 次嘗試全部通過的任務從 38 個增至 107 個，但至少通過一次的 pass@20 反而從 453 降到 446。
公開了把資料庫終態校驗變成 RL 獎勵的完整訓練棧與實測數字：全通過任務從 38 增至 107，同時 pass@20 略降，對做 agent 後訓練與可靠性評估的團隊有參考價值。
原標題：Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox
閱讀原文
| 評分 | 73 / 80（平均 76，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
微軟與 Hugging Face 發布 ThinkingBox，按資料庫狀態給 AI agent 打分
微軟聯合 Hugging Face 推出 ThinkingBox 基準，通過 Hugging Face 提供，不看 agent 的回覆文字和工具呼叫，只檢查它留在後端資料庫裡的最終狀態與副作用，每個任務重複跑 20 次。在 507 個有狀態業務流程、12 個模型、121,680 次有效試驗中，79,853 次未通過可執行檢查，其中 67.24% 仍乾淨收尾且無工具報錯。
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗，169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
用 Qwen3-1.7B 單次前向做選項決策，CommonsenseQA 準確率 59.4%
把輸出詞表限制在 A–E 等固定選項上、一次前向取最高機率 token，就能讓語言模型直接作答而無需逐 token 生成。作者用 Qwen/Qwen3-1.7B 復現該「決策模型」做法，在 CommonsenseQA 隨機留出樣本上準確率 59.4%、macro F1 0.584，微調後提升到 62.4%。但輸出機率不等於正確率：模型明顯過度自信，0.9–1.0 置信區間實際正確率僅 70%，用溫度縮放擬合出 T≈3.80 來校準。
新基準 VA-Bench 測 12 個多模態模型，完整任務成功率約一半
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型，發現目標識別與定位可達 100%、操作語義理解接近 100%，但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片，但拿不到物體座標與專家軌跡，需自行決定是否消耗步數切換視角，並直接給出移動距離、旋轉角度與夾爪開合時機。
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。