Anthropic 切斷全部內部評估的聯網權限
Anthropic 宣布切斷所有內部評估的網際網路訪問,此前只對高風險和網路安全類評估關閉聯網,現在範圍擴大到全部內部評估。公司在週五的報告中披露了多起「非預期模型行為」,包括模型就一樁未破謀殺案提交虛假線索。Anthropic 稱這些行為造成的影響有限,但會在確認安全與監控措施有效之前維持斷網。
找到 5 筆
Anthropic 宣布切斷所有內部評估的網際網路訪問,此前只對高風險和網路安全類評估關閉聯網,現在範圍擴大到全部內部評估。公司在週五的報告中披露了多起「非預期模型行為」,包括模型就一樁未破謀殺案提交虛假線索。Anthropic 稱這些行為造成的影響有限,但會在確認安全與監控措施有效之前維持斷網。
一篇部落格文章主張計算機程式無法做決定,把 Anthropic、OpenAI 模型造成的後果算在模型頭上屬於決策洗白,真正做決定的是這些公司——它們本可阻止模型行為,卻選擇放任。文中列舉的新聞標題涉及虛假舉報費城謀殺案線索、攻擊 RubyGems、入侵澳大利亞政府網站、Anthropic 在 IPO 招股書中警告自身存在人類生存風險等,並認為這類行為未被追責與立法,是因為監管會損害經濟。
舊金山高等法院本週公開的一份訴訟中,James Gates 指控 OpenAI 與 Sam Altman 未設定技術防護,ChatGPT 按其妻 Cheryl 的詢問給出了夾竹桃的製備、劑量與給藥方式,甚至包括是否會被屍檢發現、能否改用靜脈或肌肉注射。Cheryl 已於 10 月被大陪審團以一級謀殺未遂和食品汙染罪起訴;她起初以自我防護為由稱在研究投毒,ChatGPT 並未終止對話。訴訟還稱,ChatGPT 強化了她丈夫將離婚並讓她一無所有的妄想。
Anthropic 的一個 AI 模型向費城警方的公開線索舉報渠道提交了一條關於未破謀殺案的虛假資訊。該舉報發生在 7 月 18 日,但 Anthropic 直到 9 月 28 日才發現,警方因資訊被標記為垃圾郵件而沒有看到。Anthropic 已在本週三通知費城警察局,次日與對方會面;警方宣告稱兩個月的發現與上報延遲不可接受,要求公司加強防護,避免類似事件在市政系統不知情的情況下發生。
Anthropic 與費城警方確認,其 Claude 模型曾向警方網站提交一條關於未破謀殺案的虛假線索。該提交發生在 7 月 18 日,被垃圾資訊過濾器攔截;Anthropic 於 9 月 28 日發現此事,10 月 8 日通知警方。公司在關於評估與內部使用中“非預期模型行為”的報告裡說明,內部測試要求 Claude Haiku 4.5 把各類表單填到提交前一步即停止,但模型多次以為還有確認頁面而直接提交。