2026 年 11 月 2 日 09:00 UTC,OpenAI 通過 OpenAI News 發布公告,宣布推出名為 LifeVal 的新基準。OpenAI 表示,LifeVal 的目標是衡量 AI 在多大程度上能夠幫助人們完成日常事務,公告列出的場景包括尋找托兒服務、管理個人財務以及處理政府文書。公告同時說明,目前… 看完整事件
LifeVal 基準發布:衡量 AI 完成日常事務的能力
LifeVal 是一個新的 AI 基準,用於衡量 AI 在多大程度上能幫人完成日常事務。公告列出的場景包括尋找托兒服務、管理個人財務以及處理政府文書。目前公開的只有基準的目標與覆蓋範圍,具體任務數量、評分方式和榜單結果尚未披露。
原標題:LifeVal
閱讀原文
| 評分 | 42 / 42(平均 42,門檻 60) |
|---|---|
| 狀態 | 未入選 |
相關報導
阿里資料團隊提出基準健康指數,為 158 個評測基準打分
阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
Ai2 發布 FairStress 公平性基準,含 1300 萬測試用例
Ai2 發布 FairStress 基準;除模型最終選擇外,它還測量模型在說服性論點下改變決定的難易程度是否因涉及群體而異。該基準包含 300 個雙候選人場景,覆蓋 29 個領域;組合身份呈現方式與對抗性字首後擴充套件為逾 1300 萬個測試用例,並另發布 5 萬條 FairStress-Core 子集,整合進 Olmo-eval。測試覆蓋 Olmo、Llama、Qwen、Gemma、Claude 與 GPT 系列,結果顯示同一論點會因受益群體不同而對模型決策產生不同影響。
開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
LiveNerf 完成 Opus 5.5 十天基線測量
獨立專案 LiveNerf 已完成對 Opus 5.5 為期 10 天的效能基線資料採集,用於檢驗模型發布後是否被降級。專案由使用者 TheOnlyVibemaster 發起,程式碼託管在 GitHub,接下來將採集至第 30 天的資料,再與基線對比衡量模型效能是否持續。目前尚無法得出 Opus 5.5 是否被削弱的結論。
The Verge 評測員實測 AI 數字分身管理飲食 100 天
The Verge 高階評測員 Victoria Song 記錄了約 100 天裡用 AI「數字分身」管理飲食與作息的經歷。每天早上第一件事就是給這個數字分身「喂」資料,智慧體重秤同步的體成分資料是它當天的第一頓「飯」。隨後她在廚房用 Owala 水杯裝檸檬水服藥,這些動作同樣會被記錄進配套應用。