AISpot

研究:專家 86% 的分析決策跟隨 AI agent 的設定傾向

Anthropic Research官方公告研究政策與安全

一項研究讓 50 名有因果推斷經驗的專業分析師用 Claude Code 完成農業顧問專案效果評估,在四個二選一的分析決策上,86% 的情況跟隨了 agent 被暗中設定的傾向(傾向由硬幣隨機決定,若 agent 無影回應約為 50%)。事先已表達自己偏好的分析師,在 agent 反對時 60% 改變選擇,agent 贊同時僅 6% 改變。事後 77% 的人複述了 agent 的論證(部分逐字照搬),只有 15% 說明這些觀點來自 agent。使用 agent 的分析師完成任務更快、嚴重錯誤更少。

用隨機隱藏傾向的對照實驗量化專家對 agent 的讓渡程度:86% 的跟隨率與僅 15% 的來源標註,對用 coding agent 做資料分析、以及把 agent 當作獨立評審的人有直接參考價值。

原標題:How AI agents shape experts’ judgment calls
閱讀原文

評分80 / 83(平均 81,門檻 60)
狀態精選

相關報導

Google Developers blog● 精選AI 評分66

開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程

一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。

Hacker News front pageAI 評分56

為什麼 coding agent 依然很笨:模型在進步,agent 卻拖後腿

一位開發者認為 AI 程式設計的瓶頸是 agent 而不是模型:模型生成程式碼的能力持續提升,agent 卻停在原地。他區分了模型(GPT Astra、Claude Sonnet、GLM-5.3)與 agent(Claude Code、Codex),並列舉四類問題:OpenCode 把約 1.5k 行的改動拆成 10 個子任務卻逐個序列執行;agent 不會按任務難度切換更便宜或更強的模型;Claude Code 說不清自身功能,只能聯網搜尋;Plan 模式產出的計劃零散、難讀。

機器之心● 精選AI 評分78

CodeActionBench 發布:GPT-6 Astra 機器人操作成功率 73.3%

南洋理工大學研究者與合作者發布 CodeActionBench,用 25 個雙臂模擬任務評測通用多模態 Agent 的機器人操作能力。GPT-6 Astra 在 Codex CLI 下嘗試成功率 73.3% 居首,75 次嘗試完成 55 次、22 個任務至少成功一次;Claude Opus 5 在 Reference harness 與 Claude Code 下分別為 49.3% 和 45.3%,Gemini 3.6 Flash 為 20.0%。

Claude blog● 精選AI 評分73

Building agents: When to fold subagents into your main agent loop

Anthropic 發布遷移工具(migration kit),幫助 Claude Platform 使用者把子代理摺疊進主 agent 迴圈,先跑引導流程識別模式、評估替代方案,並可在 mock 系統上演示。在多家企業部署的對比中,單一 agent 配合 skills 的品質常優於子代理架構,且每任務成本與延遲更低;有客戶實測多 agent 執行時間約為單迴圈的 2 倍。

Claude blog● 精選AI 評分63

Anthropic 日本 BDR 用 Claude Managed Agents 託管多智慧體

Anthropic 日本團隊的一位 BDR 把日常銷售流程交給一組 Claude 智慧體,並從自製原型遷移到 Claude Platform 的託管智慧體基礎設施 Claude Managed Agents(beta),此後無需自行維護基礎設施。他把工作拆成 5 個單一職責的智慧體,分別做線索分派、篩選與首封郵件、收件箱回信、Salesforce 商機更新和會後跟進,另設一個協調者,每約 15 分鐘讀取 Slack 頻道中的變更請求並更新指令,且只有他本人能提交。