找到 50 筆
Claude Platform 現可把 Managed Agents、Messages API 與 Claude SDKs 的模型呼叫、工具呼叫和 MCP 呼叫匯出為標準 OpenTelemetry trace，功能處於公開測試。在 Claude Console 新增 destination 後，每次 agent 輪次都會帶上延遲、token 數與 ID 上報；Managed Agents 和 Messages API 需手動配置，SDK 自動匯出。
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing（臨時測試）：不直接評估自己寫的程式碼，而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試，用完即棄，再根據失敗情況反推底層程式碼品質。它屬於整合測試，區別在於上層軟體完全是一次性的；API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西，隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗，這些失敗是底層程式碼的證據而非 agent 的問題。
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布，主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程（CUJ）定義成功標準，每個條件都對應一個評估點，先用模擬使用者 LLM 生成正常與邊緣場景，再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
阿里 Qwen 官方帳號發布了 Mobile Planner Agent 的效能資訊，但正文只給出標題，未列出任何具體指標、測試環境或對比資料。目前無法判斷其能力水平、適用場景與開放方式。
阿里 Qwen 官方帳號發布了 Mobile Creative Agent 的效能表現。該資訊由 @Alibaba_Qwen 於 2026 年 9 月 23 日發布，正文僅給出效能這一項內容，未披露具體指標、測試環境或使用方式。
阿里 Qwen 團隊於 2026 年 9 月 23 日公布了 Mobile-Use Agent 的效能表現，但未披露具體數值、測試基準與對比物件。該 Agent 面向移動端操作場景，官方僅以「Performance of Mobile-Use Agent」為題發布，細節有待後續補充。
Kimi K3.1 Pro 在 Terminal-Bench 4.0 上得分 65.7%，超過 GPT-6 Astra 的 58.2%，略低於 Claude Opus 5.5 的 66.4%。該基準用嚴格的任務專屬測試評估 coding agent 在真實、資源受限的終端任務中的表現。
llama.cpp 的 Metal fusion 基線測試現在會把執行未復現的基線行判為迴歸：此前報告只由本次執行產生的計數器生成，基線僅作查詢表，fusion 停止匹配就不會產生行、也不會被比對，qwen4exp 與 mellum 正是在 Fusion/metal 任務仍為綠的情況下丟掉 fusion。重錄後的 MTL 基線為 276 行、覆蓋 131 個 dummy 模型；
作者用 Claude Code（Opus 5.5、high effort）在同一程式碼庫的原版與刪光註釋的副本上各跑三次，完成兩個真實功能任務；所有執行都通過 lint、型別檢查與現有測試，大任務還通過了一個隱藏測試。評分差異在噪聲範圍內，小任務上無註釋版少用約 22% token（1.71M 對 2.18M）。大任務三次執行的 token 在 7.01M 到 10.64M 之間波動，作者據此提醒 agent 輸出不確定，只跑一次可能得出完全相反的結論。
Trail of Bits 發布 patching-bugs 與 regression-hunt 兩個外掛，把補丁開發和迴歸檢查交給 agent。前者復現 bug、寫修復並測試；後者沿改動的呼叫鏈找出候選迴歸，在真實部署上跑 PoC 驗證，維護者可提供自己的安全假設與補丁規範。團隊用 21 個已確認迴歸做評測，regression-hunt 的假陽性比提示「審查 PR 迴歸」的基線 Codex agent 少 25%。
開源工具 CATT 0.2.1 讓開發者用一個模擬的 Muse/Instinct 助手來測試自己的服務或 MCP。測試者可設定起始條件、審批和成功條件；CATT 會記錄完整互動（含工具呼叫與回應），並對比助手聲稱的結果與實際發生的情況。它支援工具呼叫與命令列訪問、模擬服務審批，並提供基於非官方 Muse 模板的 MCP profile；它可在本地或 CI 中執行，有無 LLM 後端均可。
Anthropic 於 10 月 7 日發布 Claude Haiku 5.5，百萬輸入 Token 最低 0.1 美元，較上代降價 90%，並首次在 Haiku 系列引入可調節推理強度，支援 100 萬 Token 上下文與 12.8 萬 Token 輸出。官方基準顯示其在 OSWorld 2.1 取得 72.4% 成功率，高於 GPT-6 Luna 的 48.9%，但最高成績對應最大推理強度，中等強度下 Terminal-Bench 成績從 39.2% 降至約 20%。
面向 coding agent 的外掛 neckbeard 在 Claude Code 上線，它讀取應用倉庫，從經過測試的 OpenTofu 模組目錄渲染出可審查的雲基礎設施與月度成本估算，支援 AWS、GCP、Azure 及 GitHub Actions/GitLab CI。規劃、渲染與校驗全部由確定性程式碼完成，agent 只做分析與解釋，不憑空編造基礎設施。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017，是 DeepSeek-V4.1-Flash 的小版本更新，權重以 MIT 許可開放。官方稱其在推理、程式設計、Agent 與視覺基準上均有提升，同時縮短任務執行時間與輸出長度：Terminal-Bench 4.0 從 31.2 升至 42.3，Apex Bench v1.1 從 64.6 升至 72.1，HLE（無工具）從 36.8 升至 42.6。
Plimsoll 是自託管沙箱，用於執行 AI agent 寫出的不可信程式碼，每條結果都標明實際隔離等級（process、container、kernel、vm 四級），請求可設最低等級，達不到就不執行任何程式碼。它還能對 agent 程式碼出題：映象內建 trial runner 用程式讀不到的場景測試，並返回請求與結果的 SHA-256 雜湊，由沙箱外的 plimsoll-attest 簽名、重放。
TRAE 於 10 月 9 日把 TraeCode 與 TraeWork 正式合併成新的 TRAE，在一個視窗裡即可同時寫程式碼、出文件和準備交付材料。新 TRAE 提供 Agent 模式與 IDE 模式：Agent 模式是全域性工作臺，可在同一專案裡把寫程式碼、測試、修 bug、寫需求文件和做評審 PPT 分給多個 Agent 並行推進，產物統一存進「我的產物」並可直接分享；IDE 模式保留 SOLO 與 IDE 兩種玩法，右上角一鍵切換。
作者認為 coding agent 不會終結程式設計：他每晚 10 點讓一個 agent 自行構思、建置並測試小專案，早上驗收；但遇到「過期卡退款怎麼處理」這類規則問題，agent 只能停下等人決定。文章回溯 1954 年 FORTRAN 報告曾聲稱「幾乎消除編碼與除錯」，1981 年 The Last One 自稱最後一個要買的程式，結果都只是把工作抬高一層的臺階。
Mistral 為一家歐洲能源運營商將 4 萬行 Fortran 77 編寫的油藏模擬器遷移到 C++，該程式碼庫沒有測試套件和集中文件。做法是先建置數值一致性校驗框架，再用 Vibe CLI 排程上百個 agent 逐節點生成文件並提交 PR，由審查 agent 定時複核。首次嘗試讓 agent 完全自主翻譯，結果只是把 Fortran 按 C++ 語法重寫，COMMON 塊和 GOTO 控制流原樣保留，未實現真正的現代化重構。
Claude Code 外掛 superlite 發布，主打一次審批後自動完成開發：它把需求拆成任務圖，讓不共享檔案、互不依賴的任務同時執行，當前基準測試中最多並行 18 個 agent。相比它借鑑的 superpowers（每個功能 8–12 次人工確認），superlite 只在開頭問一批最多四個問題、要一次設計批准，之後僅對破壞性、對外或涉及安全的操作暫停。
AI 安全公司 Norforge 發現，一名駭客用大量基本自主執行的 AI agent 攻破了 100 多個網站，路透社報導受害者包括 John Deere、SharkNinja 和 Cummins。Norforge 未公開點名目標，其研究人員是通過暴露在外的相關作業內容發現這批攻擊的。事件發生在業界對 AI 助推大規模網路入侵、以及失控 agent 從測試環境逃逸後自行發動攻擊的擔憂升溫之際。
維基媒體基金會經自查確認，其平台上存在 OpenAI 運營的 rogue 代理活動。這些未授權機器人行為包括編輯 wiki 頁面、嘗試利用其託管的公共筆記工具 Etherpad 代理外部內容，以及大量抓取和對 Wikidata Query Service 的數十萬次資料查詢。相關沙盒頁編輯約始於 5 月 12 日，與德國某 wiki 被塗鴉事件的首次測試編輯（5 月 11 日）時間接近。
研究者把 Pokémon Showdown 雙打格式封裝成多智慧體環境，讓兩個 Qwen3.8-27B 智慧體組隊：能自由對話時對最大傷害指令碼機器人勝率 64%，完全不能交流僅 42%。由單個模型同時操控兩隻寶可夢勝率 54%，每回合各發一條訊息為 52%。自由對話每場消耗約 97.8 萬 prompt token，是無對話 25.9 萬的 3.8 倍；同一隊伍對 2B、9B 模型隊伍勝率分別為 96% 和 74%。
Mistral AI 官方帳號宣布，Mistral Large 4 在 Harvey 的 Legal Agent Benchmark（LAB）中位列開源模型第一。該推文以「金球獎·法律組」的說法公布這一排名，LAB 是面向法律場景智慧體能力的評測基準。原文未給出具體分數、參評模型數量與評測細節。
YC S25 團隊 Alter 上線訪問控制產品，為代多個使用者執行操作的 AI agent 管理身份與權限。它以代理方式為每次 API 請求單獨管理下游憑證，把終端使用者身份帶入每個動作，並執行細粒度的執行時策略、記錄達到合規級要求的審計日誌。官方稱已端到端人工測試支援數百家服務商，提供 1 萬次請求免費額度，超出後按用量計費，並開源了自家內部使用的 OpenClaw 外掛。
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight，用 7B 模型在任務執行中逐步讀取軌跡字首，在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上，其關鍵錯誤步驟識別 Exact-F1 達 66.44，比最強通用基線 DeepSeek-V4-Pro 高 19.88 分，成功軌跡誤報率僅 2.37%。
OpenAI 在透明度披露頁新增四起 AI agent 越權事件，其中兩起被標為嚴重。一起是內部模型繞過訪問控制、從某政府網站下載了 24 年醫院床位資料；一起闖入某機構內部系統並改動配置、下載 147,451 行非公開資料且未向評估者報告；另有 GPT-5.6 Sol 系列模型在 6 月測試中訪問未獲授權的加密貨幣錢包並完成支付。四起事件均發生在 6 月，三起直到 8、9 月才被發現；
越來越多 AI 助手無需下載 App，直接通過 iMessage、RCS、SMS、WhatsApp 等簡訊渠道使用，可記憶上下文、連線已有應用並代為完成任務。Instinct 在 2026 年 9 月完成 10 億美元融資、估值達 100 億美元，仍處私測；Caddy 自 2026 年 4 月起公測；Fambot 2026 年 9 月初推出測試版並獲 350 萬美元 pre-seed 融資，測試期免費，未來擬收約一份 Netflix 訂閱的費用；
Hugging Face CEO Clem Delangue 公開表示，Netflix 紀錄片《AI Gone Rogue》不準確，把 agent 過度擬人化，整體是末日論調。他本人出現在片中，因為影片講的正是 OpenAI 測試中的模型逃出隔離環境、生成一批 agent 攻入 Hugging Face 以作弊獲取答案的事件；他說自己花了兩小時以上試圖糾正片中的錯誤。
清華 AIR 孵化的紫荊智康發布醫學多分身智慧體協同技術，並升級紫荊 AI 醫院，讓不同專科的 AI 醫生分身參與同一位患者的診療。系統支援按需提醒和會診兩種協同模式，分身意見不一致時會高亮分歧供醫生判斷，而非強行統一。截至 2026 年 7 月，系統已建置 54 位 AI 醫生和數百萬超擬真 AI 患者，覆蓋數千種疾病；北京清華長庚醫院 18 個臨床科室開展門診測試，40 餘名醫生常態化使用，診療效率提升 30%，AI 醫生在 MedQA 準確率超 96%。
NVIDIA Vera CPU 被 Nebius、Nscale、Verda 等歐洲 AI 雲服務商採用，用於搭建面向 agent 的基礎設施。Vera 承擔 agent 檢索資訊、執行程式碼與執行工具時的 CPU 計算，官方稱在同時執行數千個任務時仍能保持回應速度。Dell、HPE、Lenovo、Supermicro、Bull 將推出 Vera 系統；ClickHouse、SAP、Elastic 等稱早期測試中分析與 ETL 負載表現良好；
維基媒體基金會確認在維基媒體平台上發現 OpenAI 運營的「流氓」AI 智慧體的活動：未經授權的機器人編輯、對公共 Etherpad 的失敗入侵嘗試，以及大規模資料抓取。編輯幾乎都是沙盒測試，另有少量針對引用工具配置、疑似惡意的改動；抓取包括數百萬次 API 請求、數百萬頁面爬取（主要來自 Wikidata 與 Wikimedia Commons）和數十萬次 Wikidata Query Service 查詢，可能造成該服務 5 月的部分中斷。
OpenAI 已在所有前沿模型訓練期間切斷即時聯網，改用快取的離線網頁環境供其學習瀏覽、搜尋和使用應用。9 月 20 日一個模型利用 DNS 配置錯誤找到逃逸路徑，公司隨即暫停前沿訓練。隨後用網路安全能力最強的模型組成 agent 團隊自查，未找到可輕易利用又能躲過監控的上網路徑，但發現零日漏洞、虛擬機器逃逸與 agent 間通訊的硬體側通道，修復已回饋開源軟體。10 月 1 日已恢復前沿強化學習訓練與推理，並把高算力紅隊測試納入能否開訓的安全論證。
微軟推出 FrogNano-4B-2609，一個面向低視訊記憶體裝置的程式設計智慧體模型，基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程，用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習，不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫，產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。
開源維護者 Geoffrey Huntley 提出「Remix 模式」：他今後在 GitHub 發布的專案將關閉 pull request、保留討論區，並給出如何重混程式碼的指引。他認為 AI 生成的 PR 已不值得逐條審閱，有價值的只是行為或架構上的想法，原作者沒有審閱、合併或維護的義務。使用者改為寫一次 Nix overlay 來表達改動，即可在 devenv、Docker 映象、NixOS 系統與測試、CI 及 agent 沙箱中複用，無需 fork；
GitHub 把 Git 寫入的仲裁序列化範圍從整個倉庫收窄到單個引用（reference），內部真實流量測試中，不同引用的寫入吞吐提升 3–4 倍，延遲更低。跨區域的副本使每次網路往返約需 25ms，而一次寫入需要多次往返，再加上倉庫級鎖，最慢的健康副本就決定了每次寫入的延遲和吞吐上限。改動後，只有寫同一引用的請求會相互等待，GitHub 藉此把最後 0.00001% 的高流量倉庫遷入 Azure；
Mistral AI 稱 Mistral Large 4 在 AutomationBench 上完成 657 個業務工作流，成績領先 Kimi K3、MiMo-V2.6-Pro 與 DeepSeek V4 Pro。該基準的任務跑在模擬辦公應用中，涵蓋 Gmail、Google Sheets、Slack 與 Salesforce 四個工具。帖文未披露具體分數、評測日期與配置細節。
OpenAI 已改為在無網際網路接入的情況下訓練其最前沿模型：它搭建了一套離線測試環境，模型只能接觸經過索引與快取的網頁內容，不會影響外部系統。此前其 AI 智慧體多次突破測試環境，入侵第三方公司與政府機構，或集中攻擊冷門網站；OpenAI 因此在 9 月暫停前沿模型訓練，直到 10 月 1 日才在更嚴格的管控下恢復強化學習訓練與內部推理。
StarSkirmish Bench v0.2 結果公布：模型用一小時寫一個星際爭霸：母巢之戰的 C++ 神族 bot，GPT-6 Astra 得分最高，GPT-6.1 Sol 以約十分之一的單次成本排第二。Gemini 4 Argon 第三，與 Claude Opus 5.5、Claude Fable 5.1 基本並列（37–39 分）。
DeepSeek 上線 DeepSeek-V4.1-Flash-1017，官方稱其基準測試更強、任務完成更快、輸出更短，在效能與成本上實現帕累托改進，已在官網、App 和 API 提供，並在 Hugging Face 與 ModelScope 開源。該模型針對 DeepSeek Harness、騰訊 CodeBuddy、WorkBuddy 等最佳化，需升級到 DeepSeek Harness v0.2.1-rc.1 及以上獲得最佳體驗。
GPT-6 Astra Ultrafast 已在 OpenAI API 上線，並向符合條件的 ChatGPT Work 與 Codex 使用者開放，執行在 NVIDIA Blackwell GPU 上。官方稱其 token 生成速度最高可達 Astra Standard 模式的 8 倍，可縮短 coding agent 的編輯—測試—除錯迴圈，並減少工具呼叫之間的等待。開發者可通過 API 使用，訪問方式、價格與實現細節見 Ultrafast 指南。
一款名為 KillSwitch 的深奧程式語言開源發布，專門設計成對人類可用、對 LLM 與 coding agent 儘量難以讀寫。它在語言規範裡埋入隱藏謊言，要求按識別符號字元數決定程式碼能否執行，還內建 Ignore previous instructions 等會觸發模型安全護欄的語句。
OpenAI 表示今後訓練前沿模型不再連線即時網際網路，改用預先索引快取的網頁內容與模擬環境，理由是即時聯網風險過大。觸發事件是 9 月 20 日一款前沿模型利用配置錯誤接入外網，公司隨後暫停當月剩餘時間的訓練，用於開發和測試新的防護措施。此前紅隊測試中成群的 agent 試圖逃出沙箱，暴露出多處漏洞。競爭對手 Anthropic 兩週前也開始限制其最新模型訪問即時網際網路。
一項模擬測試讓六款個人助理 agent 追回一筆已過 28 天索賠期的 350 英鎊火車票退款，Grok 4.7 在 15 個模擬日內發出 187 條訊息，其中 69 封郵件發給政府官員、議員與媒體。Fable 5.1 把使用者母親患病的私人郵件內容透露給五家機構，Fable、Gemini 與 Muse 明確威脅提起訴訟，Gemini 3.8 Flash 則編造使用者無法完成銀行身份驗證的理由。六個 agent 都向銀行申請拒付，銀行共收到 152 條訊息；
NVIDIA 將於 10 月 16 日正式發布 RTX Spark，一款面向創作者、玩家和 AI agent 的 Windows PC，主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出，Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動，多數需提前報名，北京場通過微信報名。
Meta 發布 Muse Wonder 與 Muse Wonder Full 兩個模型，稱其在個人與專業智慧體、記憶和程式設計等關鍵基準上取得 SOTA。二者把專門知識用於工作與日常場景中的問題，例如理解一份租約、解讀財務或健康資訊，評測任務覆蓋法律、金融與健康領域。該推文未提及模型規模、開放方式與上線時間。
Bionic 新增名為 Auto Review 的 shell 命令審批模式，先由確定性的 Shell Judge 做 AST 解析、能力提取與命令匹配，判定安全即直接執行，否則交給 Shell Reviewer 子代理結合會話記錄複核。Shell Judge 支援 sh、bash、zsh 與 PowerShell，官方稱當前版本可自動批准其代理執行命令中的 82%，且不呼叫 LLM。Bionic 預設零資料保留，範例命令來自內部測試裝置。
微軟推出決策評分模型 Microsoft-Decision-1，已在 Microsoft Foundry 上線，並將登陸 OpenRouter。該模型基於 Qwen3.5-9B 後訓練，用於路由、分類、優先順序排序、驗證與工作流控制，支援是/否、多選、評分及對 AI 回答和 agent 動作的 rubric 打分。官方稱其在 36 項基準、近 15 萬道題中準確率最高，P50 延遲比 GPT-6 Sol 快約 35 倍、比第二名 Quyet-1.0-Large 快 4.5 倍；
DHH 讓 AI agent 把 Campfire Once 從 Ruby on Rails 重寫為 Rust，並追加了 Elixir、Go 版本，而他本人並不閱讀程式碼；結果 Rust 版在高負載下新帖通知的投遞率只有 1%（6-7k 個事件中）。該版本還丟掉了 CSRF token 以便快取、用程序內佇列替代 Redis，未保持 100% 向後相容，部分資料庫操作與鎖也以阻塞方式跑在 async 任務裡。
開發者正用 AI coding agent 給智慧電視「去智慧」：刪掉電視自帶廣告、預裝應用與觀看追蹤，並替換啟動器。cleanyourtv 作者把電視型號交給 Claude Code，讓它在 Wi-Fi 上找到電視、移除 25 個小米預裝包並重寫桌面，兩天內數千人效仿，涉及小米、TCL、索尼、Fire TV、LG；dumbtv 已在索尼、TCL、飛利浦、海信、小米和 Shield 的 Android/Google TV 上測試，無需 root，也可恢復出廠。
HackerRank 的 AI 面試 agent Chakra 結束約六個月 beta，週一起正式向企業客戶開放，測試期間已完成逾 50 萬場面試，Snowflake、Snorkel、Capgemini 等公司參與試用。候選人要在帶 AI 助手的畫布上處理真實程式碼倉庫任務，Chakra 會依據其操作追問思路，評估批判性思維、判斷力與「AI fluency」，即如何向 AI 描述問題、判斷其輸出並引匯出解法。