llama.cpp 修復 realtime API 音訊提交時序
llama.cpp 建置 b11828 修復了 server 端 realtime API 的音訊提交時機問題:原先把「流耗盡」當作提交完成的近似判斷,導致尾部仍在解碼的音訊混入已提交內容、drain 前的最後一次提交把兩段音訊合併、連續提交塌縮成一次。現在 mtmd_audio_stream_flush() 會記錄本次重新整理音訊的結束行號,槽位維護結束行 FIFO,等該行之前的全部行解碼完畢才完成對應提交。
依意思最接近的 30 筆
llama.cpp 建置 b11828 修復了 server 端 realtime API 的音訊提交時機問題:原先把「流耗盡」當作提交完成的近似判斷,導致尾部仍在解碼的音訊混入已提交內容、drain 前的最後一次提交把兩段音訊合併、連續提交塌縮成一次。現在 mtmd_audio_stream_flush() 會記錄本次重新整理音訊的結束行號,槽位維護結束行 FIFO,等該行之前的全部行解碼完畢才完成對應提交。
Show HN 上的 PDF TO MP3 提供 MCP 伺服器,讓 Codex、Claude 等 AI 訂閱承擔 PDF 的文件處理,把文件轉成有聲書。用法是新增該 MCP 伺服器地址並完成認證,在對話裡附上 PDF 並要求呼叫它,另需一把 OpenAI 或 Google 的語音 API key;文件處理算在已付費訂閱內,語音生成按用量由 OpenAI 或 Google 單獨計費。
llama.cpp 發布 b11675 建置,在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面,並加入對 Voxtral Realtime 即時音訊模型的支援。
Napster 聯合創始人 Sean Parker 正把 Stability AI 重塑為面向音樂專業人士的 AI 工具公司。兩年前他參與 8000 萬美元救助這家瀕臨崩潰的影像生成初創公司,如今與 CEO Prem Akkaraju 公布新方向。8 月底公司宣布獲得 7600 萬美元融資,投資方包括索尼、華納和環球,三家還授權曲庫用於訓練。
YouTube Music 週三上線 AI 標籤系統,播放頁會標明歌曲在多大程度上由生成式 AI 參與,標註同樣會出現在 YouTube 主應用。合作方需按 Fully Gen AI、Partly Gen AI、No Gen AI 三檔申報,其中 Auto-Tune 等修音工具歸入 No Gen AI。YouTube 側重披露而非限制,AI 參與本身不影響曲目變現。
前 Plaud 高管創辦的 AI 應用公司完成 2600 萬美元融資,該應用的核心能力是在後臺持續收聽使用者。原文稱,其思路延續科技公司的主張:AI 瞭解一個人越多,就越能協助任務並給出合適建議,而這要求應用與裝置持續聆聽、觀看或記錄使用者活動以收集上下文。報導未提及產品名稱、上線時間與具體功能。
BBC 報導稱,AI 生成內容激增正催生所謂「人類溢價」,即人們更看重由人創作的藝術。音樂平台 Deezer 表示,其上傳曲目中 44% 由 AI 生成,調查顯示 97% 的聽眾無法分辨 AI 與人類作品,但超過半數受訪者仍在意創作者是不是人。學界正推動設立類似「公平貿易」的「人類製造」統一標識,已有書籍、電影和專輯封面標註「AI-free」。
Deezer 正在開發一個可過濾 AI 生成音樂的開關,預計今年年底前上線,開啟後搜尋結果中不再出現 AI 生成的曲目、專輯和相關藝人。CEO Alexis Lanternier 稱平台上 AI 音樂的激增是推出該功能的原因之一,去年一項調查顯示約 45% 的 Deezer 使用者希望從資訊流中移除 AI 音樂。Deezer 去年已加入 AI 檢測工具,7 月稱其平台每日上傳中 AI 曲目佔比超過 50%,日均約 9 萬首,而此前這一比例為 10%。
美國北卡羅萊納州 54 歲的 Michael Smith 用 AI 生成歌曲並配合上萬機器人刷量,從音樂流媒體平台竊取數百萬美元,被判 18 個月監禁。美國司法部稱,他是首位因 AI 輔助流媒體欺詐被刑事起訴的美國人。該騙局在 2024 年首次被起訴前已執行七年未被發現,Smith 已認罪。
YouTube 開始為經 AI「改動或完全生成」的歌曲加上「Made with AI」標籤,即日起上線,做法與其現有的影片 AI 標籤一致。該標籤並非覆蓋音樂製作中的所有 AI 用途,官方舉例包括用生成模型創作作曲與人聲。上傳歌曲的音樂合作伙伴需按規則披露生成式 AI 使用;若未披露,YouTube 稱可能借助「其他訊號」判斷歌曲是否為 AI 生成。
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點,可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed,並補齊 /tts 的路由、文件與 server_schema;mtmd 同時新增音訊輸出流 API。
OpenAI 為 ChatGPT 加入音訊檔案上傳功能,可生成轉錄、總結錄音內容並針對錄音提問,還能把會議、訪談或講座整理成結構化筆記或跟進郵件草稿。該功能面向付費 ChatGPT 訂閱與工作區開放,實際可用性受工作區設定、地區、客戶端版本和模型影響。官方提示轉錄可能包含錯誤,不同語言的表現也存在差異。
Google 宣布在 YouTube Music 的應用與網頁端為生成式 AI 創作的音樂加上標註,做法沿用今年早些時候在 YouTube 主站給 AI 生成影片加標籤的方案,目前正在陸續推送。Google 並未禁止 AI 音樂,在部落格中稱生成式 AI 為藝術家提供了新的創作、實驗與分享方式,但同時承認使用者希望知道一首歌是否由生成式 AI 工具生成。
Cloudflare 推出開源權重決策模型 Clef-omni,能在一次 API 呼叫中同時接收音訊(wav/mp3)、影片(mp4/webm)、影像和文字輸入,模型基於 Qwen3-Omni-30B-A3B-Instruct 的 MoE 架構訓練 LoRA,權重已發布在 HuggingFace。官方稱純文字決策中位延遲約 130 毫秒、影像約 150 毫秒、音訊數百毫秒,含聲音的 21 秒影片約 1.5 秒。
AI 可穿戴公司 Nirva 完成 2500 萬美元 pre-A 輪融資,加上年初的 800 萬美元,累計融資 3300 萬美元,首款產品是一隻只監聽佩戴者本人語音的 AI 吊墜。吊墜重約 8 克、續航 3 天、售價 249 美元,11 月開放預訂、年底發貨;它在引導流程中學習使用者的聲音,使用中過濾周圍其他人的說話聲,預設不保留音訊與轉寫,配套 App 輸出情緒、溝通風格等個人洞察。
v0.40.9-rc3 將 Gradium Phonon 的預發布檢查點路徑替換為 GA 正式格式,並加入預設音色匯入與語音條件控制。該版本把最低版本要求設為 0.40.9,更新語音文件,並測試匯入、推理配置以及拒絕舊檢查點。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Google 週二上線 SynthID 驗證網站,任何人可上傳圖片、影片或音訊,檢查是否為 AI 生成。該工具此前只向部分記者、媒體從業者和研究人員開放測試,現已全面開放,支援 JPG、PNG、HEIC、MP4、MP3、WAV 等十餘種格式。SynthID 自 2023 年推出,Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、Vids 等生成工具都會為產出加水印,OpenAI、Nvidia、Kakao 也已支援。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
Ben Affleck 本週因多段訪談影片走紅,他在其中講解神經網路、transformer、張量等概念,並稱自己會寫點 Python。他透露做法是拿開源模型微調:解凍權重、只訓練最後一層「電影感」層,讓劇組達到製片標準,該技術已用於其電影《Animals》後期。他創立的 AI 影視公司今年被 Netflix 收購,報導金額 5.87 億美元,他本人稱這個數字不準確。他還表示不擔心 AI 接管影視業,更擔心學生的習得性無助與大學 A 成績三年上升 30%。
OpenAI 開發者帳號 @OpenAIDevs 發布指引,介紹如何為基於 GPT-Live-1 建置的應用配上合適的音色:既可以用提示詞來塑造聲音,也可以從新增的國際預設音色中直接挑選。內容面向做語音應用的開發者,屬於簡短的功能提示,未披露模型細節、定價或可用時間。
Spotify 週二宣布,過去一年已從使用者推薦中移除超過 5000 萬首被判定為 AI 生成垃圾內容或 spam 的歌曲,並調整推薦系統以突出人類藝術家的音樂。官方稱編輯部不會把被識別為 slop 或 spam 的內容編入推薦,調整後聽眾對此類內容的投訴明顯下降。Spotify 尚未強制要求所有 AI 曲目標註,但已推出「AI Persona」徽章。
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
OpenAI 一名工程師因涉嫌在公司辦公室內藏匿精密錄音裝置被捕,美國司法部稱其被控使用或試圖使用裝置擷取口頭通訊。涉案員工為 35 歲的沙特籍人士 Abdulrahman Alfozan,裝置被發現插在一間高管辦公室電視的 USB 介面上。OpenAI 表示,公司用自家 AI 模型分析該裝置及其來源,確認是某名員工在幾天前放置的。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
一位使用者僅向 Opus 5.5 提供創意、工作資料夾和音樂檔案,模型便自主完成了從調研到成片的全流程。它檢索了四年 AI 發展資料與素材,擷取文章和介面截圖,編寫 HTML 與動畫程式碼,用 Playwright 渲染畫面、FFmpeg 合成並加入音效,最終輸出完整影片。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
llama.cpp 的 server 加入 Realtime transcription API,可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話,會話物件採用 type transcription,輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權,支援 Bearer、原始 key 與 X-Api-Key,401 在升級前返回;