Apple Machine Learning Research● 精選AI 評分65
首個三模態掩碼擴散模型：文字影像音訊聯合預訓練
研究者提出首個從零預訓練的三模態掩碼擴散模型（MDM），訓練資料涵蓋文字、圖文與音訊文字，不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響，並給出經過最佳化的推理取樣預設引數；批大小分析還引出一種基於隨機微分方程（SDE）的新方法（原文此處截斷）。
搜尋
依意思最接近的 30 筆
llama.cpp releases● 精選AI 評分65
llama.cpp 新增 mtmd_audio_stream，支援 Voxtral Realtime
llama.cpp 發布 b11675 建置，在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面，並加入對 Voxtral Realtime 即時音訊模型的支援。
Hacker News front pageAI 評分68
Liquid AI 發布 LFM3：六個 2B 級多模態開源模型
Liquid AI 發布 LFM3 家族，首發六個約 2B 引數的多模態模型，均源自同一 LFM3-1.7B-Base 骨幹，覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練，最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成，8K 上下文下比 LFM2 快約 25%。
llama.cpp releasesAI 評分42
llama.cpp b11899 更新：mtmd 新增能力查詢介面並支援音訊流
llama.cpp 發布 b11899 建置，多模態模組 mtmd 新增 mtmd_helper_get_capabilities 介面，用於查詢模型能力，並加入 audio_stream 音訊流支援，同時恢復舊 API 以保持相容，涉及 audio_gen_spk_ref 與 text_gen。
X @AIatMetaAI 評分33
Meta Omnilingual ASR 入選《時代》2026 年度最佳發明
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力，其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示，多數 ASR 系統只覆蓋網際網路語料充足的語言，此次發布是邁向通用轉錄系統的重要一步。
Hugging Face blog● 精選AI 評分79
輝達開源 Nemotron 3.5 Transcribe：轉寫、說話人分離與翻譯合一
輝達發布開放權重模型 Nemotron 3.5 Transcribe，用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答，已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分，可處理最長 1 小時錄音、標註最多 8 位說話人，並支援用自然語言提示控制輸出格式與專業術語。
X @GoogleDeepMind● 精選AI 評分73
@GoogleDeepMind: Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
Hugging Face blog● 精選AI 評分74
Liquid AI 發布 LFM3：六款 2B 級多模態模型共用同一骨幹
Liquid AI 推出 LFM3 系列，六款 2B 級模型（文字、視覺、音訊、全模態與決策）均從 LFM3-1.7B-Base 派生，可按輸入模態選型，並在單張 GPU 上微調後部署到端側。LFM3-1.7B 比 LFM2.5-2.6B 引數少 35% 卻更強，4bit 量化約 1GB，上下文 256K，8K 上下文下比 LFM2-1.2B 快約 25%。
X @OpenAIDevs● 精選AI 評分61
OpenAI 新增九個語音預設，覆蓋法德印日韓五語
OpenAI 開發者帳號宣布新增九個語音預設，全部由法語、德語、印地語、日語和韓語的母語演員錄製，覆蓋五種語言。官方同步給出 custom voices 入門指南連結，指向 developers.openai.com 的 API 文件，供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Apple Machine Learning ResearchAI 評分57
語音基礎模型可直接從語音中檢測語碼轉換
一項新研究提出直接從語音中檢測語碼轉換（同一句話內多語言交替）的輕量方法，不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見，但在預訓練語料中覆蓋不足，需要在大型語音集合中定位這類語句，以便納入訓練資料。
llama.cpp releasesAI 評分46
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
機器之心● 精選AI 評分85
Google DeepMind 發布 Genie 4：可即時互動，首次原生生成音訊
Google DeepMind 發布世界模型 Genie 4，支援用鍵盤操控角色與鏡頭，並用自然語言即時改變天氣、新增物體，是該系列首個原生生成即時音訊的版本。Gemini 深度參與模擬：Gemini Omni 提供真實世界視覺與行為知識，Gemini 3.8 Flash 負責拆解任務、逐步檢查並調整計劃，Google 稱這一方向為混合世界模型。
TechCrunch AIAI 評分74
輝達開源轉寫模型 Nemotron 3.5，支援 40 種語言
輝達發布免費開源權重語音轉寫模型 Nemotron 3.5 Transcribe，支援最多 40 種語言，可處理長達一小時的錄音、區分最多 8 位說話人，並能在 31 種語言與英語之間互譯。該模型為 300 億引數，官方稱可執行在單顆晶片上，涵蓋 Jetson AGX Thor、DGX Spark 與 Blackwell 資料中心晶片；同期還發布了開源語音資料集 Granary 第二版。主要限制是只能處理已錄製音訊，不支援即時直播流。
X @MistralAI● 精選AI 評分66
@MistralAI: Voxtral Mini TTS 3 achieves state-of-the-art expressiveness in 35+ languages and 50+ dialects.
Mistral 發布語音合成模型 Voxtral Mini TTS 3，官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨，能從對話內容中讀出情緒、語速與重音；也支援顯式控制，用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
Hacker News front page● 精選AI 評分78
Google 發布 EmbeddingGemma 2，統一五種模態嵌入
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
llama.cpp releasesAI 評分55
llama.cpp 加入 Chatterbox TTS 語音合成支援
llama.cpp 建置 b12097 在 mtmd 多模態模組中新增 Chatterbox TTS 語音合成支援，並帶有內建音色支援，改動來自合併的 PR #30993，Hugging Face 的 Sigbjørn Skjæret 等人參與評審。
TechCrunch AIAI 評分45
語音 AI 高管：全雙工已實現，仍未迎來 ChatGPT 時刻
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示，全雙工模型雖已實現，語音 AI 仍未迎來自己的「ChatGPT 時刻」，下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出，說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵，Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞，轉寫不準會讓後續動作全部出錯、使用者失去信任；
releasebot: ChatGPT● 精選AI 評分79
ChatGPT 上線音訊上傳：付費訂閱可轉錄與總結錄音
OpenAI 為 ChatGPT 加入音訊檔案上傳功能，可生成轉錄、總結錄音內容並針對錄音提問，還能把會議、訪談或講座整理成結構化筆記或跟進郵件草稿。該功能面向付費 ChatGPT 訂閱與工作區開放，實際可用性受工作區設定、地區、客戶端版本和模型影響。官方提示轉錄可能包含錯誤，不同語言的表現也存在差異。
X @MistralAI● 精選AI 評分62
@MistralAI: Voxtral Small Transcribe 3 is state-of-the-art in multilingual transcription, diarization and conte…
Mistral AI 公布 Voxtral Small Transcribe 3，稱其在多語言轉寫、說話人分離和上下文偏置三項能力上達到當前最優（state-of-the-art）。該模型能檢測說話人何時結束髮言，使語音 agent 無需等待即可及時回應，面向需要即時語音互動的場景。官方此次只披露能力定位，未公布引數規模、基準分數、價格、許可證或上線時間，也未給出與同類模型的對比結果和開放使用方式。
Hugging Face blog● 精選AI 評分75
Apertus 1.5 開源發布：新增影像音訊理解，上下文擴至 262k
Apertus 1.5 發布，在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式，上下文視窗擴至 262,144 token，為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face，技術報告同步公開。模型由第一代繼續預訓練而來，8B 增加 4 萬億 token、70B 增加 2 萬億，總量分別達 19T 與 17T。
llama.cpp releases● 精選AI 評分83
llama.cpp v0.8.0 支援 LFM3 全模態與即時語音端點
llama.cpp 發布 v0.8.0，新增 LiquidAI LFM3 模型家族，包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B，並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點，實現 OpenAI realtime 協議，用於即時對話與轉寫，另有 POST /tts 文字轉語音端點，推理努力等級也可通過 API 選擇。
Hacker News front page● 精選AI 評分89
Google 發布 Genie 4 世界模型，原生多模態可即時生成音訊與對話
Google 發布新一代世界模型 Genie 4，原生多模態，在生成畫面的同時產出音樂、環境音與互動對話，並支援用自然語言即時修改天氣、鏡頭或加入人物物體。它建立在 Gemini 家族能力之上：Gemini Omni 讓模擬貼近真實世界的外觀與行為，其他 Gemini 模型負責維持場景的連貫與連續。
量子位AI 評分50
範式智慧聯合睿思智聯開源生產級 AI 部署平台模域 ModelSphere
10 月 16 日，範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域（ModelSphere），面向企業免費開源，以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程，可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片，無需為不同晶片重寫底層程式碼。
Hacker News front page● 精選AI 評分85
Google 發布 EmbeddingGemma 2，740M 引數開源端側多模態嵌入模型
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
Google DeepMind blog● 精選AI 評分85
Google 發布 740M 引數開源多模態嵌入模型 EmbeddingGemma 2
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Hacker News front pageAI 評分70
UniEvo-VL：多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法：讓同一個多模態模型分別以學生和教師身份出現，學生只看原始問題，教師額外看到自我批評作為特權資訊，訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異，無需依賴更大的外部教師模型。基於開源 Qwen-image-2512，GenEval 從 0.747 升至 0.808，GenEval2 Soft-TIFA 從 32.97 升至 35.53。
X @MistralAI● 精選AI 評分63
@MistralAI: With Pro Voice, we’re also rolling out professional voice adaptation.
Mistral AI 上線 Pro Voice 的專業語音適配功能：使用者錄製最長 30 分鐘音訊，即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用，並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
Apple Machine Learning Research● 精選AI 評分66
新框架 SSR 把多模態智慧體推理改為候選選擇
論文提出 Selection-based Structured Reasoning（SSR），把多模態智慧體的推理從自由生成改為從預設候選中選擇。SSR 將反覆出現的高層推理表示為預先設定、可複用的自然語言候選，模型在每一輪從這些候選裡選擇，而不是開放式生成。作者指出，多模態智慧體通常在每次行動前生成自由形式的推理，小模型受容量限制，往往產生冗長卻對動作生成幫助有限的推理，同時帶來可觀的推理成本。
llama.cpp releases● 精選AI 評分60
llama.cpp 新增 LiquidAI LFM3-Audio 與 LFM3-Omni 2B 支援
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取，並按 model_type 自動識別；LFM3-Audio 的 depthformer 關閉 flash attention，編碼器卷積與 codec 保持不量化。
Hacker News front pageAI 評分55
Hurston-1 開源 TTS 發布，擅長美國南方與地區非裔英語口音
Hurston-1 以 Apache-2.0 協議開源，這是一個基於 Maya1 微調的窄帶 TTS 模型，主攻美國英語，尤其是南方口音與地區非裔英語，輸出面向電話場景。作者從 2 萬多人處收集了 1800 小時授權語音，本次只取其中 136 小時用於微調。據作者說明，該模型不支援聲音克隆，跨 prompt 的音色也無法保持一致；它已用於 Amazon、Salesforce 等客戶，累計帶來超過 50 萬美元收入。