AISpot

Surge AI 推出 DAYJOB: Tax 稅務基準,最高通過率僅 10.8%

Hacker News front page官方公告研究

Surge AI 發布 DAYJOB: Tax,用 50 個專業稅務任務評測 AI agent,Claude Sonnet 5.5 以 10.8% 的 pass@1 通過率排在第一,Claude Fable 5.1 與 Claude Opus 5.5 分別為 9.6% 和 9.2%。任務覆蓋個人與家庭、小企業、合夥、房產投資、信託遺產、國際稅務等八個領域,通過標準是至少滿足 95% 的評分細則。

用 50 個真實稅務環境量化 agent 的專業判斷,最高通過率不足 11%,並給出漏判關鍵截止日期這類可復現的失敗模式,對評估 agent 可靠性、判斷稅務場景能否落地的人有參考價值。

原標題:Dayjob: Tax – evaluating AI agents on 50 professional tax assignments
閱讀原文

評分72 / 68(平均 70,門檻 76)
狀態未入選

相關報導

OpenAI NewsAI 評分46

LegalOn 按任務分派 GPT-6 三款模型,Codex 日成本降 65%

法律 AI 公司 LegalOn 通過在 GPT-6 Luna、GPT-6.1 Sol 和 GPT-6 Astra 之間按任務複雜度選型,把 Codex 的預估日成本降低約 65%,同時保持開發速度。此前開發者可無限使用 GPT-5.5 的 Fast 模式,公司隨後預設限制 Fast 模式,並按部門、小組和個人設定月度用量與預算上限。輕量任務交給 Luna 寫程式碼,Sol 負責常規設計、資料分析與文件,Astra 處理架構設計等複雜判斷;

OpenAI NewsAI 評分46

Sophos 借 OpenAI Daybreak 把威脅回應壓到 89 秒

Sophos 用 OpenAI Daybreak 建置的 AI agent,將安全運營案件的平均回應時間從約 38 分鐘降至 89 秒,調查時間減少 96%。該方案基於 Sophos Fusion 與 MDR,agent 彙總客戶上下文、檢測結果與威脅情報,按計劃—執行—複核迴圈產出調查摘要與回應建議,52% 的 MDR 案件已由 AI 端到端處理。客戶仍可用 Notify、Collaborate、Authorise 三種模式決定 AI 的處置權限,破壞性操作交由人工判斷。

Hacker News front pageAI 評分70

三款 AI 代理跨國任務實測:權限與可觀測性差異明顯

研究者 Roya Pakzad 用同一提示詞讓 Meta Muse、Anthropic Claude Cowork Opus 5.5 Medium 和 OpenAI GPT 6.1 Sol 分別補全世界銀行政府採購資料庫中美國與伊朗的資料,美國任務用英文、伊朗任務用波斯文。GPT 僅開頭請求一次網站存取權限;Claude 全程詢問 18 次且因沙箱限制改用 2018 年 DataBank API 資料;

X @OpenAIDevsAI 評分59

@OpenAIDevs: Add near real-time decisions to your workflow with the Decisions API, now generally available.

OpenAI 的 Decisions API 已正式可用,可在工作流中加入近即時的判斷能力。它面向應用與 agent,支援對文字和圖片分類、評估輸入並決定後續走向,無需生成完整的模型回覆,從而更快、更省成本。