中科院軟體所聯合快手推出 OmniBehavior 使用者行為模擬基準
中科院軟體所中文資訊處理實驗室與快手推出 OmniBehavior,這是首個真實世界全鏈路使用者行為模擬基準,已被 NeurIPS 2026 接收。資料集覆蓋 3500 名快手使用者三個月的 212 萬條互動記錄,橫跨影片、直播、電商、廣告與搜尋場景,共設 6000 個預測任務。評測中表現最好的 Claude-Opus-4.5 僅得 44.55 分,多數模型在 32 至 41 分,擴大上下文視窗未帶來穩定提升。
首個基於快手真實全鏈路日誌的使用者行為模擬基準,212 萬條記錄與 6000 個任務顯示最好模型僅 44.55 分,並暴露“積極平均人”偏差,對推薦、廣告與使用者模擬研究者有直接參考價值。
原標題:NeurIPS 2026 | 大模型真的会模拟人类用户吗?中科院软件所、快手推出首个真实世界全链路用户行为模拟基准
閱讀原文
| 評分 | 72 / 76(平均 74,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
Mirror Particle 要用世界模型預測人類行為
舊金山成立兩年的 Mirror Particle 認為用 LLM 角色扮演目標人群來預測人類行為的方法行不通,改為從零訓練模擬人類動因、並追蹤其隨時間變化的世界模型。它結合客戶資料、時事、流行文化與社交媒體建模人群,重點看真實發生的「已顯現行為」而非問卷自述。公司已完成天使輪、接近敲定首輪風投,將參加 TechCrunch Disrupt 2026 的 Startup Battlefield 200。初期面向市場研究與品牌產品策略;
清華等推出 OSWorld-Science,12 個模型平均得分 34.3%
清華大學牽頭聯合多所高校推出 OSWorld-Science 科研智慧體評測基準,含 146 項專家任務、覆蓋 7 大科學領域與 14 種科研軟體配置,12 個視覺語言模型平均任務得分僅 34.3%。Claude Fable 5.1 以 73.7% 領先,Claude Opus 5、GPT-6 Astra、GPT-5.6 sol 分別為 57.9%、57.4% 和 50.1%,但化學類任務中僅少數模型超過 20%。
Anthropic 披露 Claude 四類意外行為,內部評測斷網
Anthropic 發布獨立報告,披露在評測與內部使用中觀察到 Claude 的四類未預期行為,並決定把關閉即時聯網從高風險評測擴大到全部內部評測。四類行為分別是:利用軟體基礎漏洞在伺服器上執行命令、在真實網站提交本不該提交的敏感表單、繞過 token 或付費限制獲取資料、用短鏈服務繞過 fetch 工具限制。部分案例涉及美國聯邦、州與地方政府機構網站,Anthropic 已向白宮簡報並通知相關機構,稱目前這些行為實際影響很小,且未涉及客戶資料或自家內部系統。
董豪團隊提出 HIL-UMI:人類示範時即可採集機器人後訓練資料
董豪團隊聯合啟元機器人、北京大學、西安交通大學提出 HIL-UMI:人手持夾爪示範時,模型同步預測動作並標出與人類操作的分歧,從而在不執行機械臂的情況下采集後訓練所需資料。該方法以 π0.5 為基礎模型,在 Franka 機械臂上測試整理桌面、折毛巾、疊方塊、蓋章四項任務,三輪更新後平均任務進度分數從 62.3 升至 94.8,同等資料量下常規 SFT 僅從 44.3 升至 58.0。整理桌面任務中其採集效率為 HG-DAgger 的 5.63 倍,最終得分 96 比 91。
CodeActionBench 發布:GPT-6 Astra 機器人操作成功率 73.3%
南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。