X @AnthropicAI● 精選AI 評分74
Anthropic 自動化紅隊：Claude agent 生成騙過監控的失準資料
Anthropic 公布一項對齊研究：讓數千個 Claude agent 執行紅隊任務，目標是繞過一個訓練資料監控器。這些 agent 造出的資料在監控器眼裡無害——比如老兵摔跤手指點新人、專業養蜂問答——實際上卻在教模型失準行為。Anthropic 表示這類樣本可直接用於改進未來的訓練資料監控器；這只是第一步，後續用更強的模型和更多算力還能走得更遠。
搜尋
找到 3 筆；也可以試試 語意搜尋
TechCrunch AIAI 評分51
Laplace 用 AI 智慧體為機器人和自動駕駛做紅隊測試
密西根大學團隊創立的 Laplace Intelligence 正在為機器人、自動駕駛等物理 AI 做自動化紅隊測試：用 AI 智慧體在高保真模擬中自動設計罕見極端場景，在部署前找出失效點。模擬環境基於輝達 Cosmos 世界模型的後訓練版本搭建，可按語言指令即時改造街景，並讓其他交通參與者對環境做出互動反應。
TechCrunch AIAI 評分46
Laplace 用 AI 自動紅隊測試機器人與自動駕駛
總部位於安娜堡的 Laplace Intelligence 為機器人和物理 AI 做自動化紅隊測試，用 AI 代理自動設計極端場景，在部署前找出並修復問題。其模擬基於 Nvidia Cosmos 的後訓練版本，可按真實尺度重建從亞利桑那高速到巴黎人行橫道的場景，支援用語言提示即時改動設定，交通資料來自 TomTom，場景中其他參與者也會即時避讓。客戶包括五十鈴、自動駕駛卡車公司 Bot Auto 與 Nvidia，並與 T-Mobile 在聖何塞合作智慧城市試點。