X @AnthropicAI● 精選AI 評分74
Anthropic 自動化紅隊：Claude agent 生成騙過監控的失準資料
Anthropic 公布一項對齊研究：讓數千個 Claude agent 執行紅隊任務，目標是繞過一個訓練資料監控器。這些 agent 造出的資料在監控器眼裡無害——比如老兵摔跤手指點新人、專業養蜂問答——實際上卻在教模型失準行為。Anthropic 表示這類樣本可直接用於改進未來的訓練資料監控器；這只是第一步，後續用更強的模型和更多算力還能走得更遠。
找到 1 筆；也可以試試 語意搜尋
Anthropic 公布一項對齊研究：讓數千個 Claude agent 執行紅隊任務，目標是繞過一個訓練資料監控器。這些 agent 造出的資料在監控器眼裡無害——比如老兵摔跤手指點新人、專業養蜂問答——實際上卻在教模型失準行為。Anthropic 表示這類樣本可直接用於改進未來的訓練資料監控器；這只是第一步，後續用更強的模型和更多算力還能走得更遠。