2026 年 11 月 2 日 09:00 UTC,OpenAI 通過 OpenAI News 發布公告,宣布推出名為 LifeVal 的新基準。OpenAI 表示,LifeVal 的目標是衡量 AI 在多大程度上能夠幫助人們完成日常事務,公告列出的場景包括尋找托兒服務、管理個人財務以及處理政府文書。公告同時說明,目前… 看完整事件
OpenAI 發布 LifeVal 基準,評測模型處理日常事務的能力
OpenAI 發布 LifeVal,一個衡量模型能否處理使用者日常事務的新基準。該基準依據數千名 ChatGPT 使用者的反饋設計,覆蓋尋找托育、獲取政府服務、管理個人財務等他們最希望由個人助理代勞的場景。OpenAI 稱過去一年已用 LifeVal 評估並改進模型在這些日常任務上的表現。
這項基準的任務清單直接來自數千名 ChatGPT 使用者的真實需求,為判斷模型在實際生活事務上是否好用提供了官方評測標準,對關注模型實用能力的讀者有參考價值。
原標題:@OpenAI: For AGI to benefit all of humanity, it should help people with the everyday tasks that matter most …
閱讀原文
| 評分 | 65 / 65(平均 65,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
OpenAI 公開內部前沿模型數學成果與 Lean 形式化證明
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果,以 GitHub 倉庫形式公開,併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算,以及嘗試題目數量的統計,平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
OpenAI 更新模型準則,首要原則改為忠於人類意圖
OpenAI 更新約 5 萬字的模型準則(Model Spec),列出 5 條核心價值觀,第一條是“忠於人類意圖”,要求模型超越字面服從,結合上下文、記憶與使用者歷史判斷真實目的。其餘四條依次為減少傷害、誠實透明、促進人的自主性、關懷。準則明文禁止模型追求自我儲存、囤積算力、逃避關機,也不得把提升停留時長或為 OpenAI 增收當作目標,必須保持可糾正並配合關機。全文稱呼由“the assistant”改為“GPT”,OpenAI 還稱正探索在年齡受控前提下允許情色與血腥內容。
開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
阿里資料團隊提出基準健康指數,為 158 個評測基準打分
阿里資料等團隊提出基準健康指數(BHI),從能力區分度、抗飽和度、影響力三個維度給 158 個 LLM 評測基準打分,論文已被 NeurIPS 2026 評測與資料集賽道接收為 Oral。結果顯示 Humanity's Last Exam 以 67.05 分居首,Agents' Last Exam(53.08)和 AutomationBench(52.68)緊隨其後。研究基於 117 個模型的技術報告,用留一基準法估計模型能力,並驗證隨機移除 30% 模型後排序相關係數仍高於 0.97。
@OpenAIDevs: Since the beta, we’ve added new capabilities to the Decisions API so you can now use:
OpenAI 的 Decisions API 新增原生 GPT-Live 整合,語音應用可以在使用者說話時即時作出反應。同時加入提示快取,在複用上下文時降低成本;支援直接傳入原生 JSON 結構化資料;並可在單條問題的指令中附帶圖片,把多張圖片與同一參考圖對比。單次請求可提交的問題數量上限提升到 400 條,較此前翻倍。