AISpot

微軟發布 ThinkingBox,按資料庫終態給 AI agent 打分

Hugging Face blog10/3 23:56官方公告研究開發工具開源

微軟與 Hugging Face 聯合發布 ThinkingBox,通過 Hugging Face 提供,用 507 個有狀態業務流程、每個任務重複 20 次來評測 agent 留下的後端狀態與副作用,而非只看工具呼叫和最終回覆。在 121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨結束並呼叫了改狀態的工具、未報錯。

你日常用 Claude Code、Codex、OpenCode 跑 coding agent,這套按資料庫終態和 20 次重複一致性打分的基準,能幫你判斷模型在真實有狀態任務上是否可靠,而不只是看工具呼叫是否成功。

原標題:The Agent Said It Was Done. The Database Disagreed.
閱讀原文

評分68 / 42(平均 55,門檻 65)
狀態未入選

相關報導

Hacker News front page10/2 21:39AI 評分63

三款 AI agent 多語言實測:權限請求與註冊行為差異明顯

技術與人權研究者 Roya Pakzad 發布對比測試,用世界銀行全球公共採購資料庫任務,分別以英文(美國)和波斯語(伊朗)在網頁版 Muse、Claude Cowork Opus 5.5、GPT 6.1 Sol 上執行。權限差異明顯:GPT 只在開頭請求一次網站訪問並提供允許所有相關網站選項,Claude 兩個任務各請求 9 次,Muse 到第四步才請求。

r/LocalLLaMA top of the day● 精選10/2 21:16AI 評分80

微軟發布 4B 智慧體模型 FrogNano,主打倉庫級編碼

微軟發布 FrogNano-4B-2609,一個面向算力有限開發者的 4B 智慧體模型,Hugging Face 上已有 GGUF 量化版本。它由 Qwen3.5-4B 派生,沿用 32 層混合 Gated DeltaNet 與門控注意力架構,後訓練為純文字、聚焦倉庫級軟體工程,用強化學習在約 1500 個 TaskPilot 生成的合成 SWE 環境上訓練,獎勵來自可執行測試,配套五工具的 Leaf harness。與行為蒸餾不同,它不訓練強模型的解題軌跡。

Hacker News front page10/3 19:23AI 評分35

Meta Muse 靠設計與廣告模式登頂美區 App Store

Meta 的消費級 agent 產品 Muse 已在美國 App Store 榜首停留一段時間,其核心能力(瀏覽器與電腦操作、雲端工作流、定時任務、手機遠端控制)在 Codex、Claude Code 等工具中已存在一年以上,Meta 的勝點在於用單一聊天介面隱藏模型選擇、chat/work 切換等複雜度,並以廣告而非賣 token 支撐極寬鬆的免費額度。作者認為這可能是 agentic AI 首次對普通消費者真正可用,也讓 Meta 在可規模化的消費級 AI 上領先。

Hugging Face blog10/2 05:01AI 評分46

ServiceNow 推出 AutoSynthData,把 Agent 失敗轉成訓練資料

ServiceNow CoreAI 發布 AutoSynthData,用目標模型的失敗案例和更強 teacher 的成功案例定位能力缺口,再自動生成並驗證新的訓練任務。每個任務由 system specification、user prompt 和 verifier 三部分組成:任務要可行、真實、對當前模型有難度,verifier 要一致、可靠且完備。流程先用診斷任務評測目標模型,把發現提煉成能力規格卡片並據此生成新任務,模型變強後課程自動轉向它仍做不好的部分。

Hacker News front page10/3 18:03AI 評分55

觀點:Agent 不需要記憶,需要文件

2026 年 10 月 3 日一篇文章指出,市面上的記憶外掛都靠 RAG:把對話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記錄被當成事實、Agent 不知道自己不知道什麼、儲存不可審計等問題。作者主張改用文件式記憶,讓 Agent 工作前查閱、工作後更新 Markdown 文件,並稱已據此做出外掛 Operator Memory,不用向量資料庫和嵌入。