Ai2 發布 FairStress 公平性基準，含 1300 萬測試用例
Ai2 發布 FairStress 基準；除模型最終選擇外，它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景，覆蓋 29 個領域；組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例，並另發布 5 萬條 FairStress-Core 子集，整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列，結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
把公平性評測從最終答案推進到被反駁時是否同樣堅持，1300 萬用例加 5 萬條快速子集，對做模型評測與對齊工作的人有直接參考價值。
原標題：FairStress: A deeper evaluation of fairness in LLM decision-making
閱讀原文
| 評分 | 78 / 76（平均 77，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Hugging Face 政策主管：嵌入式 AI 評測員難成現成方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式第三方評測員並非解決模型安全問題的簡單答案，評測仍缺乏可復現性與統一標準。她指出評測方法更新很快、彼此之間難以橫向比較，且目前絕大多數評測針對模型本身，對 harness 和完整 agent 的評測既少又昂貴；而更強的 harness 可讓較弱模型跑贏前沿模型。她認為誰有資格評測哪些任務，需要更多標準化。
OpenAI 上線 Decisions API 公測，僅支援 gpt-6-luna
OpenAI 的 Decisions API 進入公測，官方稱其評估文字、影像或兩者並返回結構化答案的速度約為 Responses API 的 10 倍，預計數週內 GA。該 API 使用獨立的 POST /v1/decisions 端點，目前僅支援 gpt-6-luna，問題分三類：predicate 返回條件成立機率（0 到 1）、choice 從給定選項中選一個、score 按有序等級給出機率加權平均分。
Faros 研究：高 AI 採用團隊 bug 增 54%、PR 評審耗時漲約 5 倍
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現，AI 採用度高的組織每位開發者 bug 增加 54%，PR 評審中位耗時約漲 5 倍，每 PR 事故數超 3 倍；其 Q3 報告稱部分效應有所緩解，但驗證與運維成本仍在累積。
開源 agent-eval 工具包發布，把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
六款 AI 決策模型吃豆人對戰，基準與排行榜開源
有人讓 jev 1.13、kev、clef、clef flash、GPT-6 Luna 和 Laya 六款低延遲決策模型玩吃豆人對抗機器人鬼魂，每個模型各跑 100 局，並公布了排行榜。測試倉庫已開源，任何人都能接入自己的模型加入排名。這些模型通過其創業公司 opper 執行，一局成本約 2 美分，併為所有人提供免費試用額度。讀者也能自己扮演吃豆人、由模型當鬼魂，作者稱打破 jev 的高分出乎意料地難。