Surge AI 推出 DAYJOB: Tax 稅務基準,最高通過率僅 10.8%
Surge AI 發布 DAYJOB: Tax,用 50 個專業稅務任務評測 AI agent,Claude Sonnet 5.5 以 10.8% 的 pass@1 通過率排在第一,Claude Fable 5.1 與 Claude Opus 5.5 分別為 9.6% 和 9.2%。任務覆蓋個人與家庭、小企業、合夥、房產投資、信託遺產、國際稅務等八個領域,通過標準是至少滿足 95% 的評分細則。
用 50 個真實稅務環境量化 agent 的專業判斷,最高通過率不足 11%,並給出漏判關鍵截止日期這類可復現的失敗模式,對評估 agent 可靠性、判斷稅務場景能否落地的人有參考價值。
原標題:Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
閱讀原文
| 評分 | 72 / 68(平均 70,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
LegalOn 按任務分派 GPT-6 三款模型,Codex 日成本降 65%
法律 AI 公司 LegalOn 通過在 GPT-6 Luna、GPT-6.1 Sol 和 GPT-6 Astra 之間按任務複雜度選型,把 Codex 的預估日成本降低約 65%,同時保持開發速度。此前開發者可無限使用 GPT-5.5 的 Fast 模式,公司隨後預設限制 Fast 模式,並按部門、小組和個人設定月度用量與預算上限。輕量任務交給 Luna 寫程式碼,Sol 負責常規設計、資料分析與文件,Astra 處理架構設計等複雜判斷;
Sophos 借 OpenAI Daybreak 把威脅回應壓到 89 秒
Sophos 用 OpenAI Daybreak 建置的 AI agent,將安全運營案件的平均回應時間從約 38 分鐘降至 89 秒,調查時間減少 96%。該方案基於 Sophos Fusion 與 MDR,agent 彙總客戶上下文、檢測結果與威脅情報,按計劃—執行—複核迴圈產出調查摘要與回應建議,52% 的 MDR 案件已由 AI 端到端處理。客戶仍可用 Notify、Collaborate、Authorise 三種模式決定 AI 的處置權限,破壞性操作交由人工判斷。
三款 AI 代理跨國任務實測:權限與可觀測性差異明顯
研究者 Roya Pakzad 用同一提示詞讓 Meta Muse、Anthropic Claude Cowork Opus 5.5 Medium 和 OpenAI GPT 6.1 Sol 分別補全世界銀行政府採購資料庫中美國與伊朗的資料,美國任務用英文、伊朗任務用波斯文。GPT 僅開頭請求一次網站存取權限;Claude 全程詢問 18 次且因沙箱限制改用 2018 年 DataBank API 資料;
@OpenAIDevs: Add near real-time decisions to your workflow with the Decisions API, now generally available.
OpenAI 的 Decisions API 已正式可用,可在工作流中加入近即時的判斷能力。它面向應用與 agent,支援對文字和圖片分類、評估輸入並決定後續走向,無需生成完整的模型回覆,從而更快、更省成本。
Artificial Analysis Intelligence Index v5 發布,Claude Opus 5.5…
Artificial Analysis 發布 Intelligence Index v5,Claude Opus 5.5(max)以 58 分居首,GPT-6 Astra 57 分、GPT-6.1 Sol 55 分緊隨,Gemini 4 Argon 50 分。