首個三模態掩碼擴散模型:文字影像音訊聯合預訓練
研究者提出首個從零預訓練的三模態掩碼擴散模型(MDM),訓練資料涵蓋文字、圖文與音訊文字,不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響,並給出經過最佳化的推理取樣預設引數;批大小分析還引出一種基於隨機微分方程(SDE)的新方法(原文此處截斷)。
依意思最接近的 25 筆
研究者提出首個從零預訓練的三模態掩碼擴散模型(MDM),訓練資料涵蓋文字、圖文與音訊文字,不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響,並給出經過最佳化的推理取樣預設引數;批大小分析還引出一種基於隨機微分方程(SDE)的新方法(原文此處截斷)。
用自迴歸擴散生成市場資料時,全連續擴散難以刻畫真實訂單流的尖峰分佈。實習生 Kavish 以 4 年美國股票事件級資料訓練模型,發現 DDPM 在 1000 步餘弦噪聲排程下不穩定,7 個連續目標中 88%–95% 的取值偏離分佈均值 8 個標準差以上,改用流匹配後開箱即可用。模型用因果掩碼 Transformer 編碼事件,事件型別頭判斷交易或 BBO 更新,價格、時間間隔等連續特徵由擴散頭生成。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
一項研究分析了離散擴散模型(含 remasking 與 uniform-state 取樣器)的單步生成機制,指出一步生成只有在所寫位置在已固定 token 條件下相互獨立時,才與訓練分佈匹配。研究證明,任何逐位置分佈的乘積都無法匹配存在依賴關係的 token 組,而畫素、音素、詞等常見領域中的 token 本身存在固有依賴。
Google DeepMind 推出 SynthID Detector,可快速識別影片、音訊和影像中的 SynthID 水印,即使內容經過加濾鏡等編輯後依然有效。使用者還可以使用 Google Chrome、Google 搜尋和 Gemini App 中已有的 AI 識別功能。
Oscilloscope Diffusion 是一種通過擴散模型干預現有影片的新方法,以影片的運動與形態為起點,重新詮釋其紋理、材質與視覺語言。該工具由作者圍繞其在 TouchDesigner 中製作的音訊反應幾何系統開發,演示素材來自其 Oscilloscopes, everywhere 合集(已更新至 v1.2),也可輸入任意影片源。使用者可選擇源影片、描述處理方式,並通過提示詞、精選 LoRA 與可編輯時間線控制結果與原始影片的貼合程度。
Google DeepMind 發布 SynthID Bio,一套面向 AI 生成生物設計的水印方法。官方稱這是全球首次能在不影響生物功能的前提下,把不可感知的簽名直接嵌入蛋白質序列。該技術屬於 SynthID 水印體系的新分支,具體覆蓋範圍、檢測方式與可用時間尚未公布。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
一篇 arXiv 論文證明,AI 模型可把加密神經網路嵌入自身權重,只在收到秘密觸發時解密執行,且在密碼學假設下即使拿到全部權重也難以誘導或解讀。作者用 PyTorch 實現概念驗證,在化學反應預測任務(CBRN 相關能力的替代任務)上測試微調、權重加噪、梯度觸發搜尋與潛空間對抗訓練,均未能誘匯出隱藏能力。該文被 NeurIPS 2026 接收,共 22 頁,作者已公開模型以支援防禦研究。
Google DeepMind 發布一種可充當數字身份證的水印,用於標記 AI 生成的合成蛋白質。該水印能幫助 DNA 實驗室核驗合成蛋白來源,並保持序列資料庫的準確性。隨著相關需求規模擴大,驗證設計是否來自帶內建防護的 AI,將有助於實驗室實現自動化並加強生物安全。
SynthID Detector 是 Google DeepMind 推出的檢測工具,上傳檔案即可判斷其中是否含有 SynthID 數字水印,目前支援圖片、影片、音訊三類內容。該水印由採用 SynthID 的生成式 AI 產品在生成時直接嵌入畫素或音訊頻段,人眼不可見,且能抵抗濾鏡、調色與有失真壓縮等常見改動。它不是通用 AI 檢測器,只能識別 Google、Nvidia、OpenAI、Kakao 等合作方模型產出的內容;
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
Google DeepMind 發布了一套可快速驗證生物設計是否內建安全防護的工具,並以開放形式供研究使用。該工具面向科研人員,目的是在 AI 加速科學發現的同時不拖慢關鍵研究進度。官方未披露具體工具名稱、技術細節與適用限制。
OpenAI 宣布將在歐盟自動為 ChatGPT 生成的文字加水印,其他地區也提供該功能,但預設關閉。這是為遵守 8 月生效的歐盟 AI Act,該法要求 AI 生成內容可被其他工具檢測。OpenAI 的水印方法名為 textGrain,屬專有技術並已發布技術論文:它在用詞中埋入人類難以察覺、也不影響輸出品質的模式,持有金鑰者可用專用檢測器識別。檢測器初期只向有限的研究者與機構開放,其他方需經申請審批逐步加入。
OpenAI 公布應對歐盟 AI 法案的文字溯源方案:全球 API 客戶即日起可為部分模型選擇開啟文字水印(預設關閉),未來幾週將在歐盟的 ChatGPT 與 Codex 文字輸出中加入不可見水印,檢測器僅向獲批研究者與專家組織開放申請。其自研 textGrain 通過統計訊號標記用詞,在 1% 誤報率下對 200 token 段落檢出約 80%、400 token 約 95%,數學等用詞受限內容明顯更低;
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
llama.cpp 發布 b11352 建置版本,主要變更為最佳化 Qwen4 的掩碼構造(#29824),並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置,其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。
OpenAI 表示文字水印存在明顯侷限:在短文字中往往無法檢測,改寫或翻譯就能徹底去除水印。因此目前只有經過批准的研究者才能使用其水印檢測器,用於評估和改進這項技術。OpenAI 將文字水印視為一個持續研究的方向,會繼續測試和改進,並收集使用者、開發者、政策制定者和研究者的反饋。
OpenAI 開始在 ChatGPT 和 Codex 的文字輸出中加入不可見、機器可讀的水印,初期只面向歐盟使用者。OpenAI 稱自研的 textGrain 水印與 Google DeepMind 的 SynthID for text 等方法相比持平或更優,後者也是 Anthropic 8 月宣布的水印基礎;兩家公司都是為了滿足歐盟 AI Act 的要求。OpenAI 還給出 AI 基準分數,顯示加水印與未加水印文字表現相近,但表示 textGrain 並不保證……
阿里發布 Qwen-Image-2.1-Turbo,這是基於 Qwen-Image-2.1 的加速 checkpoint,只需 8 步去噪即可生成和編輯影像,權重已在 ModelScope 與 Hugging Face 開放。它沿用同一 7B 視覺生成架構,官方稱步數減少不犧牲品質,仍可從文字生成 2K 影像,並支援用自然語言繼續編輯,例如新增配飾或更換場景。Diffusers 中載入 QwenImage21Pipeline 即可使用推薦的 8 步取樣;
OpenAI 表示,文字水印用於回答一個問題:這段文字是否很可能由其模型生成。水印在生成時嵌入不可見的統計訊號,檢測器可據此識別,不會新增可見標記或特殊字元。它無法說明原作者或版權歸屬,也不能識別個人、組織、帳號、對話或提示詞。OpenAI 稱測試中水印未影響模型能力、速度以及回答的閱讀感受。
Google 週二上線 SynthID 驗證網站,任何人可上傳圖片、影片或音訊,檢查是否為 AI 生成。該工具此前只向部分記者、媒體從業者和研究人員開放測試,現已全面開放,支援 JPG、PNG、HEIC、MP4、MP3、WAV 等十餘種格式。SynthID 自 2023 年推出,Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、Vids 等生成工具都會為產出加水印,OpenAI、Nvidia、Kakao 也已支援。
創作者 Marcello Costa 發布 AI 動畫短片 Monkey Business,整個流程幾乎都在 Claude 內完成。他通過 Seedance 2.5 skill 把自然語言提示轉成 Magnific 內 Seedance 2.5 工具的詳細視覺提示,99% 的過程發生在 Claude 中。首個提示設定專案規則後,僅用專案內術語即可協作,從開始到完成約 50 天,期間仍需大量迭代和後期製作。
Anthropic 警告稱,AI 模型可能很快就會在無需接入資料中心的情況下實現自我複製。這一說法由路透社於 2026 年 10 月 13 日報導,指向模型脫離集中式算力設施後自主擴散的風險。
OpenAI 宣布將在歐盟為 ChatGPT 和 Codex 生成的文字加入隱形水印,以符合 8 月 2 日生效的 EU AI Act 透明度規則。水印將在未來幾週內推送給歐盟所有套餐的合格使用者;全球 API 開發者即日起可為部分模型開啟,預設關閉,暫不設為全球預設。該方法名為 textGrain,通過微呼叫詞留下可被檢測器識別的模式,隨複製貼上保留,OpenAI 稱不影響模型表現。