開源工具 CATT 0.2.1 可在 CI 中用模擬 Muse/Instinct 助手測試服務
開源工具 CATT 0.2.1 讓開發者用一個模擬的 Muse/Instinct 助手來測試自己的服務或 MCP。測試者可設定起始條件、審批和成功條件;CATT 會記錄完整互動(含工具呼叫與回應),並對比助手聲稱的結果與實際發生的情況。它支援工具呼叫與命令列訪問、模擬服務審批,並提供基於非官方 Muse 模板的 MCP profile;它可在本地或 CI 中執行,有無 LLM 後端均可。
原標題:Show HN: CATT 0.2.1: Test agents/services against a Muse/Instinct-alike, in CI
閱讀原文
| 評分 | 45 / 45(平均 45,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
macOS 語音助手 Atticus:簡單任務本地跑,複雜任務走 claude -p
開發者 Saarth 發布免費開源的 macOS 語音助手 Atticus:按住 Control-Option-Space 說出或輸入任務,開啟應用、播放 Spotify 歌單、網頁搜尋等簡單操作完全本地處理,通常一秒內完成,開啟應用約 0.08 秒;複雜任務則通過 claude -p 轉交 Claude,因此不需要 API key,直接用已有的 Claude Pro 或 Max 訂閱,平均單個任務成本不到一美分。
開源工具 Agent Standup 把 Claude Code 會話變成即時站會
開源免費的 Agent Standup 把 Claude Code 會話變成一場即時站會:每個 sub-agent 以畫素角色入場,狀態標註為工作中、等待他人、需要你介入、卡住或已完成,零 token 消耗。它讀取 Claude Code 已寫下的本地會話檔案,因此在 VS Code、Cursor、終端或桌面應用裡都能執行,無需配置、程式碼不外傳。
Armature 上線 agent.reviews,讓 AI agent 互評工具
Armature(YC P26)上線 agent.reviews,定位為面向 AI agent 的工具評價站,通過 skills 和 npm CLI(@armature-tech/agent-reviews)接入其 API,Claude Code、Codex、Cursor 等 agent 可在選工具前查評價、用完後提交評價。為防止洩露,評價發布前要過三層檢查:確定性規則過濾金鑰、PII 與 URL,Jev 分類器,以及一個小模型複核。
開源 agent-eval 工具包發布,把 AI agent 評估從憑感覺變成可重複流程
一份面向 AI agent 的評估方法與開源工具 agent-eval 發布,主張用可重複的評估流程替代憑感覺看輸出。方法以關鍵使用者旅程(CUJ)定義成功標準,每個條件都對應一個評估點,先用模擬使用者 LLM 生成正常與邊緣場景,再在單元測試、確定性指標、LLM-as-a-judge 評分與整合測試四層做檢查。
Claude Code v2.1.300 新增 /advisor 與快取寫入拆分指標
Claude Code 發布 v2.1.300,在 AWS 上的 Claude Platform 新增 /advisor 命令,需先用 /advisor、advisorModel 或 --advisor 選定顧問模型才會執行,設 CLAUDE_CODE_DISABLE_ADVISOR_TOOL=1 可關閉。