找到 50 筆
llama.cpp 建置 b11828 修復了 server 端 realtime API 的音訊提交時機問題：原先把「流耗盡」當作提交完成的近似判斷，導致尾部仍在解碼的音訊混入已提交內容、drain 前的最後一次提交把兩段音訊合併、連續提交塌縮成一次。現在 mtmd_audio_stream_flush() 會記錄本次重新整理音訊的結束行號，槽位維護結束行 FIFO，等該行之前的全部行解碼完畢才完成對應提交。
llama.cpp 發布 b11899 建置，多模態模組 mtmd 新增 mtmd_helper_get_capabilities 介面，用於查詢模型能力，並加入 audio_stream 音訊流支援，同時恢復舊 API 以保持相容，涉及 audio_gen_spk_ref 與 text_gen。
把 Google 的 EmbeddingGemma 2 嵌入模型改造成語音轉文字模型 Embedding Gemma Transcribe 後，在 8GB 記憶體的基礎款 M3 MacBook Air 上，一小時音訊約 12.6 秒轉完，全程在端側 Neural Engine 執行。工具免費下載，要求 macOS 14+ 與 Apple Silicon，首次啟動下載 715MB 模型；可拖入音訊檔案，或按住右 Option 鍵說話、鬆開即聽寫到任意應用，音訊不離開本機。
Ollama 模型庫新增 LFM3 系列，共四個條目：lfm3、lfm3-vl、lfm3-audio、lfm3-omni，分別對應文字、視覺、音訊與全模態。四個頁面均以 :latest 標籤提供，可直接通過 Ollama 拉取。原文未給出引數量、上下文長度與硬體要求等細節。
Cloudflare 推出開源權重決策模型 Clef-omni，能在一次 API 呼叫中同時接收音訊（wav/mp3）、影片（mp4/webm）、影像和文字輸入，模型基於 Qwen3-Omni-30B-A3B-Instruct 的 MoE 架構訓練 LoRA，權重已發布在 HuggingFace。官方稱純文字決策中位延遲約 130 毫秒、影像約 150 毫秒、音訊數百毫秒，含聲音的 21 秒影片約 1.5 秒。
OpenAI 為 ChatGPT 加入音訊檔案上傳功能，可生成轉錄、總結錄音內容並針對錄音提問，還能把會議、訪談或講座整理成結構化筆記或跟進郵件草稿。該功能面向付費 ChatGPT 訂閱與工作區開放，實際可用性受工作區設定、地區、客戶端版本和模型影響。官方提示轉錄可能包含錯誤，不同語言的表現也存在差異。
Google DeepMind 發布世界模型 Genie 4 研究預覽版，首次加入與場景匹配的即時音訊（音樂、環境音、可互動對話），並支援在模擬過程中直接輸入提示即時修改場景，例如改天氣、換鏡頭角度、增刪人物。單次場景一致性最長約兩分鐘，為 Genie 3 的兩倍，物理表現與角色擬真度也有所提升。
Google DeepMind 發布世界模型 Genie 4，支援用鍵盤操控角色與鏡頭，並用自然語言即時改變天氣、新增物體，是該系列首個原生生成即時音訊的版本。Gemini 深度參與模擬：Gemini Omni 提供真實世界視覺與行為知識，Gemini 3.8 Flash 負責拆解任務、逐步檢查並調整計劃，Google 稱這一方向為混合世界模型。
Google 於 2026 年 9 月 15 日宣布 Gemini 3.8 Live 與 Gemini 3.8 Live Extended Thinking 兩款音訊到音訊模型正式可用（GA），面向 Live API 的即時語音應用。前者是低延遲語音代理與即時對話的預設選項，支援交錯推理、預設非同步函式呼叫和完整會話客戶端內容更新；後者支援即時音訊互動中的後臺推理，適合需要更高後臺推理能力的場景。
Apertus 1.5 發布，在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式，上下文視窗擴至 262,144 token，為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face，技術報告同步公開。模型由第一代繼續預訓練而來，8B 增加 4 萬億 token、70B 增加 2 萬億，總量分別達 19T 與 17T。
Google DeepMind 公布 Genie 4 世界模型，基於 Gemini Omni 建置，可生成照片級真實、帶原生音訊的可互動場景。新版本加入空氣動力學、碰撞等物理模擬與更自然的人物動作，並支援用提示詞即時改變場景、新增元素或與角色互動；Gemini 的推理能力讓多步事件在場景演進中保持連貫。
llama.cpp 發布 b11675 建置，在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面，並加入對 Voxtral Realtime 即時音訊模型的支援。
Google DeepMind 於 2026 年 10 月 1 日發布播客，提供影片與音訊兩種形式。影片可在 goo.gle 短鏈觀看，音訊已上架 Spotify 和 Apple Podcasts，也可在其他播客平台收聽。
研究者提出首個從零預訓練的三模態掩碼擴散模型（MDM），訓練資料涵蓋文字、圖文與音訊文字，不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響，並給出經過最佳化的推理取樣預設引數；批大小分析還引出一種基於隨機微分方程（SDE）的新方法（原文此處截斷）。
Google 發布新一代世界模型 Genie 4，原生多模態，在生成畫面的同時產出音樂、環境音與互動對話，並支援用自然語言即時修改天氣、鏡頭或加入人物物體。它建立在 Gemini 家族能力之上：Gemini Omni 讓模擬貼近真實世界的外觀與行為，其他 Gemini 模型負責維持場景的連貫與連續。
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
Ollama 0.40.11 在 macOS 上加入語音生成能力，ollama run 可在音訊生成的同時朗讀文字或模型回覆，應用也能通過相容 OpenAI 的 /v1/audio/speech 介面流式獲取音訊。同版本還引入 vLLM Semantic Router 的 d3 決策模型，提供 2B、4B、9B、27B 四種規模，可對文字、結構化狀態或影像做分類、是否判斷或為選項打機率分。
SynthID Detector 是 Google DeepMind 推出的檢測工具，上傳檔案即可判斷其中是否含有 SynthID 數字水印，目前支援圖片、影片、音訊三類內容。該水印由採用 SynthID 的生成式 AI 產品在生成時直接嵌入畫素或音訊頻段，人眼不可見，且能抵抗濾鏡、調色與有失真壓縮等常見改動。它不是通用 AI 檢測器，只能識別 Google、Nvidia、OpenAI、Kakao 等合作方模型產出的內容；
Google 宣布 SynthID 水印檢測器現已支援所有合作方，並在新網站 SynthID.com 面向所有人開放。此前 Google 之外的使用者只能通過 Gemini 詢問檢測結果，且檢測器只識別 Google 自家的 SynthID，ChatGPT 等合作方帶有 SynthID 的影像不會被標記。SynthID 是嵌入影像與影片畫素、AI 音訊波形的隱形訊號，Google 稱僅 Gemini 就已為超過 1800 億張影像和影片、24 萬年時長的音訊整合該水印。
開源工具 mlsubgen 可在本機為影片生成 45 種語言字幕，僅支援 Linux 與 NVIDIA 顯示卡。它按每段語音檢測語言而非整檔案，同時執行兩個語音識別器並用本地 LLM 調和，且優先使用內嵌字幕軌（含藍光 PGS 點陣圖 OCR），無字幕時才聽音訊。模型佔用 30–65 GB 儲存，需 16–32 GB 記憶體，作者在 24 GB RTX A5000 上實測，純聽音訊時約每個目標語言耗時接近即時。
開發者用 Claude Code 裡的 Claude Opus 5.5 Extra 做出了 Chirp Pong：兩臺手機各自執行靜態 HTML 頁面，靠麥克風收發 chirp 聲音來傳遞遊戲狀態，實現雙人對戰。玩法以 pong 為基礎，但加入圖形與玩法上的改動，讓雙方互動比傳統 pong 更緊密有趣。兩臺手機需要靠得足夠近，聲音直接由麥克風傳給對方。作者稱這只是一次遊戲實驗，用來驗證純靜態頁面加音訊聯網是否可行，結論是似乎可行。
Battle Drones 是一個幾乎全由 AI 編寫的《命令與征服》式即時戰略遊戲，作者讓 Claude Code 迭代 12 個大版本、提交 321 次程式碼，手機和桌面瀏覽器都能直接開玩。最有意思的是雙人聯機：兩臺靠近的裝置通過麥克風互發音訊來同步戰局，後續又補上了線上聯機。遊戲內含 9 種建築、7 種地面與 6 種空中單位、6 張地圖與隨機地圖生成器，另有讓兩個 LLM 互相對戰的 Agent 對戰模式和多種 AI 性格。
Amazon 裝置業務負責人 Panos Panay 在 TechCrunch Disrupt 上表示，未來個人計算將由環境計算裝置承擔任務，使用者不必再主動告訴裝置要做什麼，App 的重要性會下降。同期 Amazon 發布 Bee 系列可穿戴裝置：可戴在手腕或拆下作吊墜的手環，以及磁吸在手機背面的信用卡大小裝置，它們被動錄製音訊並整理待辦、提醒與要點。Bee 不儲存原始音訊，即時處理後即刪除，轉寫文字用裝置自行生成和保管的金鑰加密，包括 Amazon 員工在內的他人無法訪問。
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取，並按 model_type 自動識別；LFM3-Audio 的 depthformer 關閉 flash attention，編碼器卷積與 codec 保持不量化。
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點，可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed，並補齊 /tts 的路由、文件與 server_schema；mtmd 同時新增音訊輸出流 API。
Liquid AI 的 LFM3 系列模型已可在 Ollama 本地執行，覆蓋文字、視覺、音訊、omni 與決策模型。文字模型在 4-bit 量化下僅約 1 GB，上下文視窗 256K，官方定位是可隨處執行、並能在單張 GPU 上微調的小模型。
MLX 發布 0.32.4，Metal 後端新增 1-bit 仿射量化支援，mlx.core.fft 新增 stft 與 istft 音訊變換運算元。同版本加入 Python 3.15 與 3.15t 支援、整數整除原語 FloorDivide、SDPA 與 gated delta net 的 VJP，並新增 MLX_CONV_WINOGRAD 開關以停用 conv2d 的 Winograd 實現。
Meta 發布 Muse Spark Open，這是 816B 總參、42B 啟用的 MoE 開放權重模型，支援 1M token 上下文，可輸入文字、影像、影片與音訊。上線價格為每百萬輸入/輸出 token $1.25/$4.25（快取輸入 $0.15），Together 免費端點開放至 10 月 18 日。
Google DeepMind 推出 SynthID Detector，可快速識別影片、音訊和影像中的 SynthID 水印，即使內容經過加濾鏡等編輯後依然有效。使用者還可以使用 Google Chrome、Google 搜尋和 Gemini App 中已有的 AI 識別功能。
Show HN 上出現了一個高音質鴨子音效合成器 duck-pond，頁面託管在 GitHub Pages（celphase.github.io/duck-pond/）。該帖發布時在 Hacker News 獲得 5 分、0 條評論，正文未提供實現方式、技術棧或開源許可等更多細節。
llama.cpp 合併 PR #30616，新增 Muse Spark Open 模型支援，可處理文字、視覺與音訊三種輸入。該模型是 latent space MoE：殘差流保持 8192 維，256 個專家位於 4096 維，經上下投影連線，採用 top-8 sigmoid 路由與修正偏置，注意力為三層 2048 視窗滑窗加一層無 rope 的全域性層。
Mistral AI 上線 Pro Voice 的專業語音適配功能：使用者錄製最長 30 分鐘音訊，即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用，並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
Liquid AI 推出 LFM3 系列，六款 2B 級模型（文字、視覺、音訊、全模態與決策）均從 LFM3-1.7B-Base 派生，可按輸入模態選型，並在單張 GPU 上微調後部署到端側。LFM3-1.7B 比 LFM2.5-2.6B 引數少 35% 卻更強，4bit 量化約 1GB，上下文 256K，8K 上下文下比 LFM2-1.2B 快約 25%。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
阿里推出新一代原生全模態模型 Qwen3.8-Omni-Flash，已在千問 AI 平台上線，支援文字、影像、音訊、影片輸入，上下文視窗達 100 萬 token。該模型在 29 項評測中平均分較 Qwen3.5-Omni-Plus 提升超 25%，音影片輸入價格分別下降超 98% 和 93%，並開源 Qwen-Live Harness 即時執行時。
Meta 發布開源權重模型 Muse Spark Open，稱其是美國迄今能力最強的開源權重模型，主打編碼與 agentic 任務。模型總引數 816B、啟用 42B，上下文視窗 1M token，原生支援文字、影像、影片與音訊多模態。官方稱其在長時程任務、複雜軟體工程和多步推理上表現突出。
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型，無依賴、在 CPU 上執行，與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語，單次最多處理 30 秒 16 kHz 單聲道音訊，可自動檢測語種，並輸出逐詞時間戳與語音嵌入。
Google 在 Gemini API 發布說明中宣布 Lyria 3.5 正式可用（GA），模型名為 lyria-3.5。它支援文字與影像輸入，可生成完整歌曲，在音樂連貫性、人聲自然度和時長與結構控制上有所改進，輸出 44.1 kHz 立體聲高保真音訊。官方音樂生成指南提供了詳細說明與程式碼範例。
Liquid AI 的新小模型系列 LFM3 已可在 Ollama 本地執行，面向本地 agent、工具呼叫與結構化輸出。系列包含 1.7B 文字模型（256K 上下文）、影像理解版 lfm3-vl、支援 18 種語言語音識別、翻譯與合成的 lfm3-audio，以及文字、影像、音訊一體的 lfm3-omni；決策模型 d1 也新增 2B 版本。目前 lfm3 與 d1 2B 僅在 rc1 的 Apple 硬體上支援，Linux、Windows 稍後跟進。
Napster 聯合創始人 Sean Parker 正把 Stability AI 重塑為面向音樂專業人士的 AI 工具公司。兩年前他參與 8000 萬美元救助這家瀕臨崩潰的影像生成初創公司，如今與 CEO Prem Akkaraju 公布新方向。8 月底公司宣布獲得 7600 萬美元融資，投資方包括索尼、華納和環球，三家還授權曲庫用於訓練。
Google 推出實驗性筆記應用 Google AI Edge Foresight，可在 macOS 上完全離線轉錄會議和音訊檔案。該應用免費，轉錄與摘要均由端側模型 EmbeddingGemma 2 完成，無需聯網。使用時可在會中記下簡寫要點，應用會結合轉錄文字將其轉成成稿筆記，定位類似 Granola、Wispr Flow 等 AI 筆記工具。
Liquid AI 發布 LFM3 家族，首發六個約 2B 引數的多模態模型，均源自同一 LFM3-1.7B-Base 骨幹，覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練，最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成，8K 上下文下比 LFM2 快約 25%。
Ollama 發布 v0.40.0-rc6，在 MLX runner 上實現 EmbeddingGemma2Model 架構，使本地嵌入支援多模態輸入。/api/embed 介面現在可通過 input dict 為每個條目單獨傳入媒體。該模型為 24 層雙向文字編碼器，帶 PLE，共享 gemma4 的視覺與音訊塔，輸出經 mean-pool 與 L2 歸一化。該標籤由 pdevine 於 10 月 6 日打上，對應提交 #18820，仍屬 rc 預發布版本。
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
官方只支援 Windows 的 ASUS ProArt P16（128GB 記憶體版）已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作，補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動，做出可啟動映象，並擴充套件 Archinstall 4.5 來安裝硬體支援；7-Zip 單執行緒成績與 Windows 基本持平，20 執行緒壓縮約領先 5%、解壓約領先 3%。
為滿足歐盟 AI 法案的監管要求，OpenAI 將內容溯源範圍從影像、音訊擴充套件到文字，未來幾週內在歐盟開始對 ChatGPT 和 Codex 的合規文字加水印。其 API 客戶即日起可在全球範圍內為部分模型開啟文字水印。OpenAI 同時承認，當前文字水印技術存在明顯侷限。
Meta 發布開放權重模型 Muse Spark Open，採用混合專家架構，總引數約 816B、每 token 啟用約 42B，可輸入文字、影像、音訊和影片，輸出文字，上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練，能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重，BF16 約 1.5TB，NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
Google 發布 Genie 4 世界模型，可生成約兩分鐘的可互動體驗，時長比上一代 Genie 3 的一分鐘翻倍。官方列出的四項更新包括：世界更真實、可用自然語言提示即時修改場景、支援生成音訊，以及底層改用 Gemini 3.8 Flash 輔助模擬。Google 稱其適用於影視預視覺化、遊戲創意原型和機器人訓練場景。