Momentic 發布 QA 智慧體 Mo,60 分鐘找出 269 個 bug
Momentic 推出 QA 智慧體 Mo,可自主探索 Web、iOS 與 Android 應用來查詢 bug。在 4 個開源專案、1396 個人工標註 bug 的 60 分鐘限時測試中,Mo 找到 269 個 bug,召回率 19.3%、精確率 84%,單個 bug 成本 2.67 美元;同場 Codex 為 86 個、6.2% 召回,Claude Code 59 個,Devin 27 個。
公開了 1396 個人工標註 bug 的橫向基準:Mo 召回率 19.3%,約為 Codex 的三倍,代價是單 bug 成本更高,對做端到端測試與 QA 自動化的團隊最有參考。
原標題:Launch HN: Momentic (YC W24) – Agents that catch bugs by using your app
閱讀原文
| 評分 | 58 / 58(平均 58,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
開源 coding agent 執行時 Octomind 發布,基準 24/25 且成本低於 Claude Code
Octomind 發布,這是一個開源的 CLI 優先 coding agent 執行時,以單一二進位制執行,可接入任意模型與 MCP 工具。官方基準在 25 個取自已合併 PR 的任務上解出 24 項,花費 63.43 美元、3.6 小時;使用同一模型和同一端點的 opencode 為 19/25、129.54 美元,Claude Code 搭配 Opus 為 23/25、81.79 美元。
五個 Qwen3.8-27B 組隊,LiveCodeBench Hard 均分 9.8 超過 Fable 5
Memdoor 將 GVS5H 的多智慧體方法重建成 team-solve 工作流:規劃、兩個構思、求解、管理與修復各自從全新上下文出發,只通過磁碟上的檔案交流,在 LiveCodeBench Hard 前十題跑五輪均分 9.8/10。50 次執行解出 49 題,共花 35.79 美元(1530 萬輸出 token),單次中位 40 分鐘、約 0.39 美元,全部經 OpenRouter 呼叫而非本地。
學者提出 Ephemeral Testing:用 AI 臨時搭建上層應用檢驗程式碼
魁北克大學電腦科學教授 Daniel Lemire 提出 ephemeral testing(臨時測試):不直接評估自己寫的程式碼,而是讓 AI agent 在其之上臨時搭建一層或多層應用並測試,用完即棄,再根據失敗情況反推底層程式碼品質。它屬於整合測試,區別在於上層軟體完全是一次性的;API 清晰、不變數穩定、報錯有用的庫能讓 agent 快速產出可執行的東西,隱藏狀態、意外預設值或文件不全的庫則會產出一堆補丁和失敗,這些失敗是底層程式碼的證據而非 agent 的問題。
Google Cloud 開源 AQuA,為生產環境 agent 做品質診斷
Google Cloud 開源參考實現 AQuA(Ambient Quality Agent),用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行,掃描失敗聚類並對照對話記錄逐條驗證,再把根因定位到當時實際部署的原始碼快照。它針對的場景是:agent 做到 80% 之後難以繼續改進,且靜默的品質回退仍然返回 HTTP 200 OK。
Third Moment 用 GPT-6 與 Codex 併發執行 1 萬個 agent
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。