微軟發布 ThinkingBox,按資料庫終態給 AI agent 打分
微軟與 Hugging Face 聯合發布 ThinkingBox,通過 Hugging Face 提供,用 507 個有狀態業務流程、每個任務重複 20 次來評測 agent 留下的後端狀態與副作用,而非只看工具呼叫和最終回覆。在 121,680 次有效試驗中,79,853 次未通過可執行檢查,其中 67.24% 仍乾淨結束並呼叫了改狀態的工具、未報錯。
你日常用 Claude Code、Codex、OpenCode 跑 coding agent,這套按資料庫終態和 20 次重複一致性打分的基準,能幫你判斷模型在真實有狀態任務上是否可靠,而不只是看工具呼叫是否成功。
原標題:The Agent Said It Was Done. The Database Disagreed.
閱讀原文
| 評分 | 68 / 42(平均 55,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
三款 AI agent 多語言實測:權限請求與註冊行為差異明顯
技術與人權研究者 Roya Pakzad 發布對比測試,用世界銀行全球公共採購資料庫任務,分別以英文(美國)和波斯語(伊朗)在網頁版 Muse、Claude Cowork Opus 5.5、GPT 6.1 Sol 上執行。權限差異明顯:GPT 只在開頭請求一次網站訪問並提供允許所有相關網站選項,Claude 兩個任務各請求 9 次,Muse 到第四步才請求。
微軟發布 4B 智慧體模型 FrogNano,主打倉庫級編碼
微軟發布 FrogNano-4B-2609,一個面向算力有限開發者的 4B 智慧體模型,Hugging Face 上已有 GGUF 量化版本。它由 Qwen3.5-4B 派生,沿用 32 層混合 Gated DeltaNet 與門控注意力架構,後訓練為純文字、聚焦倉庫級軟體工程,用強化學習在約 1500 個 TaskPilot 生成的合成 SWE 環境上訓練,獎勵來自可執行測試,配套五工具的 Leaf harness。與行為蒸餾不同,它不訓練強模型的解題軌跡。
Meta Muse 靠設計與廣告模式登頂美區 App Store
Meta 的消費級 agent 產品 Muse 已在美國 App Store 榜首停留一段時間,其核心能力(瀏覽器與電腦操作、雲端工作流、定時任務、手機遠端控制)在 Codex、Claude Code 等工具中已存在一年以上,Meta 的勝點在於用單一聊天介面隱藏模型選擇、chat/work 切換等複雜度,並以廣告而非賣 token 支撐極寬鬆的免費額度。作者認為這可能是 agentic AI 首次對普通消費者真正可用,也讓 Meta 在可規模化的消費級 AI 上領先。
ServiceNow 推出 AutoSynthData,把 Agent 失敗轉成訓練資料
ServiceNow CoreAI 發布 AutoSynthData,用目標模型的失敗案例和更強 teacher 的成功案例定位能力缺口,再自動生成並驗證新的訓練任務。每個任務由 system specification、user prompt 和 verifier 三部分組成:任務要可行、真實、對當前模型有難度,verifier 要一致、可靠且完備。流程先用診斷任務評測目標模型,把發現提煉成能力規格卡片並據此生成新任務,模型變強後課程自動轉向它仍做不好的部分。
觀點:Agent 不需要記憶,需要文件
2026 年 10 月 3 日一篇文章指出,市面上的記憶外掛都靠 RAG:把對話切成片段存入向量庫,每次提示注入最相似的 5 條,存在相似度不等於正確、片段脫離上下文、舊記錄被當成事實、Agent 不知道自己不知道什麼、儲存不可審計等問題。作者主張改用文件式記憶,讓 Agent 工作前查閱、工作後更新 Markdown 文件,並稱已據此做出外掛 Operator Memory,不用向量資料庫和嵌入。