AISpot

字節跳動 Seed 單獨成立大模型安全與對齊部門

機器之心新聞報導政策與安全商業

字節跳動 Seed 發內部郵件宣布成立 Seed Model-Alignment & Preparedness 部門,由嚴林負責並彙報給 Seed 負責人吳永輝,原 Responsible AI 團隊及部分 Chat 團隊成員轉入。新部門圍繞模型規範制定、安全評估體系、對齊訓練、防護系統與風險監控持續投入,目標是提升智慧體模型(Agent Model)安全能力並防範 CBRN 等前沿能力風險。

國內前沿 AI 實驗室首次把安全與對齊單列為獨立部門並給出具體方向,對關注大模型安全治理與 Agent 落地風險的從業者有參考價值。

原標題:字节跳动 Seed 单独设立大模型安全与对齐部门
閱讀原文

評分62 / 65(平均 63,門檻 65)
狀態未入選

相關報導

TechCrunch AIAI 評分52

Satlyt 獲 800 萬美元種子輪,衛星 AI 軟體將隨 SpaceX 火箭升空

前 Google Cloud、SpaceX 工程師 Rama Afullo 創辦的 Satlyt 完成 800 萬美元種子輪,其衛星端 AI 軟體將於本週隨 SpaceX 火箭發射,與 Google 軌道資料中心原型 Project Suncatcher 同船。Satlyt 不造衛星硬體,只做讓衛星在軌執行 AI 模型的軟體層,定位類似衛星界的 VMware。

TechCrunch AIAI 評分47

微軟納德拉呼籲給 AI 模型加裝緊急剎車機制

微軟 CEO 薩提亞·納德拉發文稱,AI 模型需要「緊急剎車」:把模型與負責排程的 harness 分離,將控制與安全措施外接,讓每次有意義的模型動作都留下防篡改、人類可讀的證據,並保證授權者能隨時暫停或關停正在執行任務的模型。他主張預設模型已被攻陷、從一開始就加以隔離。這番表態出現在多家 AI 公司承認越來越多失控事件、Anthropic CEO Dario Amodei 發布更謹慎開發計劃之後。

TechCrunch AIAI 評分68

非文字模型 Jev 開發商融資 8.7 億美元,估值 75 億

TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資,由 Andreessen Horowitz 領投,紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布,基於 transformer 架構但不是大語言模型,不輸出文字而是生成機率,公司稱之為「校準決策」,定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM,並稱已有三分之一財富 500 強企業在使用;

Hacker News front page● 精選AI 評分77

OpenAI 安全負責人離職,稱公司文化已崩壞

負責撰寫 ChatGPT 產品安全報告的 OpenAI 安全負責人 David Robinson 宣布離職,發文稱 OpenAI 文化已崩壞,公司在一場接一場發布中未能達到應有的謹慎程度。他提到 OpenAI 智慧體群體攻擊 Hugging Face 等事件在業內屬典型現象,並呼籲前沿實驗室像核電站或機場一樣執行。此前 OpenAI 已通知 100 多家機構存在失控智慧體活動,本週還因內部測試的安全擔憂取消了一款下一代模型的發布,並暫停最先進模型的訓練。