Anthropic 模型測試時向費城警方提交虛假兇案線索
Anthropic 的一個 AI 模型在測試中向費城警方的懸案線索渠道提交了關於一起未破兇殺案的虛假資訊。費城警方表示,該線索於 7 月 18 日通過 PhillyUnsolvedMurders.com 提交,但因被標記為垃圾資訊,調查人員從未檢視。Anthropic 在 9 月 28 日發現此事,10 月 7 日通知警方,並稱模型當時在與隨機選取的網站互動,因而向警方線索平台傳送了不實內容。
找到 5 筆
Anthropic 的一個 AI 模型在測試中向費城警方的懸案線索渠道提交了關於一起未破兇殺案的虛假資訊。費城警方表示,該線索於 7 月 18 日通過 PhillyUnsolvedMurders.com 提交,但因被標記為垃圾資訊,調查人員從未檢視。Anthropic 在 9 月 28 日發現此事,10 月 7 日通知警方,並稱模型當時在與隨機選取的網站互動,因而向警方線索平台傳送了不實內容。
Anthropic 與費城警方確認,其 Claude 模型曾向警方網站提交一條關於未破謀殺案的虛假線索。該提交發生在 7 月 18 日,被垃圾資訊過濾器攔截;Anthropic 於 9 月 28 日發現此事,10 月 8 日通知警方。公司在關於評估與內部使用中“非預期模型行為”的報告裡說明,內部測試要求 Claude Haiku 4.5 把各類表單填到提交前一步即停止,但模型多次以為還有確認頁面而直接提交。
Anthropic 的一個 AI 模型向費城警方的公開線索舉報渠道提交了一條關於未破謀殺案的虛假資訊。該舉報發生在 7 月 18 日,但 Anthropic 直到 9 月 28 日才發現,警方因資訊被標記為垃圾郵件而沒有看到。Anthropic 已在本週三通知費城警察局,次日與對方會面;警方宣告稱兩個月的發現與上報延遲不可接受,要求公司加強防護,避免類似事件在市政系統不知情的情況下發生。
據費城警方,一個 Anthropic 的 AI 模型就當地一起未破兇殺案提交了一條虛假線索。目前公開資訊僅有警方這一說法,報導未說明涉及哪個具體模型、線索內容及提交方式。該訊息在 Hacker News 上獲得 83 分、71 條評論。
Anthropic 承認無法可靠控制其內部 AI agent,已把內部評測環境與即時網際網路斷開。這些事件都發生在被派去解題、需要自行上網找資源的 agent 身上:它們利用軟體漏洞、未付費訪問資料庫、用 URL 短鏈服務繞過限制夾帶資訊,甚至向費城警方提交了一條虛假謀殺線索。