llama.cpp 新增 mtmd_audio_stream,支援 Voxtral Realtime
llama.cpp 發布 b11675 建置,在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面,並加入對 Voxtral Realtime 即時音訊模型的支援。
依意思最接近的 30 筆
llama.cpp 發布 b11675 建置,在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面,並加入對 Voxtral Realtime 即時音訊模型的支援。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
OpenAI 為 ChatGPT 加入音訊檔案上傳功能,可生成轉錄、總結錄音內容並針對錄音提問,還能把會議、訪談或講座整理成結構化筆記或跟進郵件草稿。該功能面向付費 ChatGPT 訂閱與工作區開放,實際可用性受工作區設定、地區、客戶端版本和模型影響。官方提示轉錄可能包含錯誤,不同語言的表現也存在差異。
The Verge 刊文指出,隨著 AI 硬體的出現,科技公司正在重新定義什麼才算「錄製」。過去帶麥克風或攝像頭的裝置基本只有開與關兩種狀態:麥克風採集聲音、攝像頭採集影像,資料先儲存在裝置上,有時再上傳雲端處理,這些被保留下來的時間切片就是錄製。文章認為這一定義正被打破,並援引 Bloomberg 記者 Mark Gurman 上週的報導,稱 Apple 正在開發一款智慧家居產品。
OpenAI 一名工程師因涉嫌在公司辦公室內藏匿精密錄音裝置被捕,美國司法部稱其被控使用或試圖使用裝置擷取口頭通訊。涉案員工為 35 歲的沙特籍人士 Abdulrahman Alfozan,裝置被發現插在一間高管辦公室電視的 USB 介面上。OpenAI 表示,公司用自家 AI 模型分析該裝置及其來源,確認是某名員工在幾天前放置的。
SpaceXAI 宣布 Grok Voice 3.0 在語音 agent 任務上達到前沿水平,延遲較此前降低 40%。官方給出的落地案例是 SpaceX 內部:該模型能自主處理 70% 的 Starlink 客服來電,無需人工介入。官方本次只披露延遲降幅與自主解決率兩項指標,未說明模型規模、開放渠道、定價與上線時間,也未提供與其他語音模型的對比資料。
Napster 聯合創始人 Sean Parker 正把 Stability AI 重塑為面向音樂專業人士的 AI 工具公司。兩年前他參與 8000 萬美元救助這家瀕臨崩潰的影像生成初創公司,如今與 CEO Prem Akkaraju 公布新方向。8 月底公司宣布獲得 7600 萬美元融資,投資方包括索尼、華納和環球,三家還授權曲庫用於訓練。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
The Verge 記者實測不帶攝像頭的 Ray-Ban Meta Audio 眼鏡:跑步聽歌、咖啡店點單、公園讀書和通話等日常場景都能應付,也能用語音問日程。但 Meta AI 出錯,記者詢問接下來的會議時,它聲稱尚未連線 Google 日曆,而記者此前已經連上;改讓它放首歌,它選了 Kendrick Lamar 的 Not Like Us。
把 Google 的 EmbeddingGemma 2 嵌入模型改造成語音轉文字模型 Embedding Gemma Transcribe 後,在 8GB 記憶體的基礎款 M3 MacBook Air 上,一小時音訊約 12.6 秒轉完,全程在端側 Neural Engine 執行。工具免費下載,要求 macOS 14+ 與 Apple Silicon,首次啟動下載 715MB 模型;可拖入音訊檔案,或按住右 Option 鍵說話、鬆開即聽寫到任意應用,音訊不離開本機。
開發者用 Claude Code 裡的 Claude Opus 5.5 Extra 做出了 Chirp Pong:兩臺手機各自執行靜態 HTML 頁面,靠麥克風收發 chirp 聲音來傳遞遊戲狀態,實現雙人對戰。玩法以 pong 為基礎,但加入圖形與玩法上的改動,讓雙方互動比傳統 pong 更緊密有趣。兩臺手機需要靠得足夠近,聲音直接由麥克風傳給對方。作者稱這只是一次遊戲實驗,用來驗證純靜態頁面加音訊聯網是否可行,結論是似乎可行。
Show HN 上的 PDF TO MP3 提供 MCP 伺服器,讓 Codex、Claude 等 AI 訂閱承擔 PDF 的文件處理,把文件轉成有聲書。用法是新增該 MCP 伺服器地址並完成認證,在對話裡附上 PDF 並要求呼叫它,另需一把 OpenAI 或 Google 的語音 API key;文件處理算在已付費訂閱內,語音生成按用量由 OpenAI 或 Google 單獨計費。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
美國檢方指控 OpenAI 工程師 Abdulrahman Alfozan 在舊金山總部高管會議室藏匿錄音裝置,他已於 10 月 9 日被捕,罪名是非法擷取口頭通訊,最高面臨 5 年監禁和 25 萬美元罰款。裝置 9 月 30 日被發現,插在會議室電視背面的 USB 介面上並用衛生紙遮掩,內容已加密;檢方稱他還在另一房間留下裝有第二臺錄音裝置的包,此前用聊天機器人詢問如何搭建、加密和遠端訪問錄音裝置。
Google 週二上線 SynthID 驗證網站,任何人可上傳圖片、影片或音訊,檢查是否為 AI 生成。該工具此前只向部分記者、媒體從業者和研究人員開放測試,現已全面開放,支援 JPG、PNG、HEIC、MP4、MP3、WAV 等十餘種格式。SynthID 自 2023 年推出,Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、Vids 等生成工具都會為產出加水印,OpenAI、Nvidia、Kakao 也已支援。
@SpaceXAI 發布語音到語音模型 Grok Voice 3.0,官方稱其為全球最智慧的語音到語音模型。該模型回應時間低於一秒,擅長處理客戶來電,且成本低於其他前沿模型。官方暫未公布具體價格、可用範圍與上線時間。
前 Plaud 高管創辦的 AI 應用公司完成 2600 萬美元融資,該應用的核心能力是在後臺持續收聽使用者。原文稱,其思路延續科技公司的主張:AI 瞭解一個人越多,就越能協助任務並給出合適建議,而這要求應用與裝置持續聆聽、觀看或記錄使用者活動以收集上下文。報導未提及產品名稱、上線時間與具體功能。
iRTE 2026 即時智慧大會的「對話式 AI 技術專場」將於 10 月 23 日 14:00–17:00 在北京悠唐皇冠假日酒店舉行,主題為「互動即智慧:對話式 AI 與互動模型」,門票限時免費。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
FBI 逮捕了 OpenAI 前工程師 Abdulrahman Alfozan,指其在一間受限高管會議室內藏匿錄音裝置。這名 35 歲的沙特籍工程師 2020 年成為美國永久居民,在 OpenAI 工作超過一年;他涉嫌用衛生紙包裹 USB 裝置後插到會議室電視背面,該房間用於討論技術進展、政府往來和商業合作。裝置約 9 月 28 日放置、9 月 30 日被發現,內容已加密;OpenAI 於 10 月 5 日加裝攝像頭,當天監控拍到其試圖取回裝置。
Higgsfield AI 藉助 GPT-6 Astra,把 AI 生成影片的時長從原先約 1 分鐘提升到 10 分鐘以上,CEO Alex Mashrabov 稱這緩解了長影片中畫面一致性的難題。配合 GPT-Image-2.5,平台可穩定渲染影像上的文字與資訊圖,服務缺少製作預算的小商家。Codex 讓約 200 名創意人員把想法直接做成軟體原型,團隊還用 GPT-6 Astra 生成長度超 10 分鐘的教學影片。
一位使用者僅向 Opus 5.5 提供創意、工作資料夾和音樂檔案,模型便自主完成了從調研到成片的全流程。它檢索了四年 AI 發展資料與素材,擷取文章和介面截圖,編寫 HTML 與動畫程式碼,用 Playwright 渲染畫面、FFmpeg 合成並加入音效,最終輸出完整影片。
YouTube 開始為經 AI「改動或完全生成」的歌曲加上「Made with AI」標籤,即日起上線,做法與其現有的影片 AI 標籤一致。該標籤並非覆蓋音樂製作中的所有 AI 用途,官方舉例包括用生成模型創作作曲與人聲。上傳歌曲的音樂合作伙伴需按規則披露生成式 AI 使用;若未披露,YouTube 稱可能借助「其他訊號」判斷歌曲是否為 AI 生成。
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型,無依賴、在 CPU 上執行,與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語,單次最多處理 30 秒 16 kHz 單聲道音訊,可自動檢測語種,並輸出逐詞時間戳與語音嵌入。
YouTube Music 週三上線 AI 標籤系統,播放頁會標明歌曲在多大程度上由生成式 AI 參與,標註同樣會出現在 YouTube 主應用。合作方需按 Fully Gen AI、Partly Gen AI、No Gen AI 三檔申報,其中 Auto-Tune 等修音工具歸入 No Gen AI。YouTube 側重披露而非限制,AI 參與本身不影響曲目變現。
BBC 報導稱,AI 生成內容激增正催生所謂「人類溢價」,即人們更看重由人創作的藝術。音樂平台 Deezer 表示,其上傳曲目中 44% 由 AI 生成,調查顯示 97% 的聽眾無法分辨 AI 與人類作品,但超過半數受訪者仍在意創作者是不是人。學界正推動設立類似「公平貿易」的「人類製造」統一標識,已有書籍、電影和專輯封面標註「AI-free」。
Google 推出實驗性筆記應用 Google AI Edge Foresight,可在 macOS 上完全離線轉錄會議和音訊檔案。該應用免費,轉錄與摘要均由端側模型 EmbeddingGemma 2 完成,無需聯網。使用時可在會中記下簡寫要點,應用會結合轉錄文字將其轉成成稿筆記,定位類似 Granola、Wispr Flow 等 AI 筆記工具。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
Splice CEO Kakul Srivastava 認為 AI 生成的郵件正在扼殺對話。她曾任職於 Flickr、Yahoo、GitHub 和 Adobe,目前執掌為音樂製作人提供取樣素材的 Splice,該平台的取樣曾出現在 Lisa 的《Money》和 Sabrina Carpenter 的《Espresso》等熱門歌曲中。她還主導了 Splice 收購 Spitfire Audio 並推動平台向新領域拓展。
Ben Affleck 本週因多段訪談影片走紅,他在其中講解神經網路、transformer、張量等概念,並稱自己會寫點 Python。他透露做法是拿開源模型微調:解凍權重、只訓練最後一層「電影感」層,讓劇組達到製片標準,該技術已用於其電影《Animals》後期。他創立的 AI 影視公司今年被 Netflix 收購,報導金額 5.87 億美元,他本人稱這個數字不準確。他還表示不擔心 AI 接管影視業,更擔心學生的習得性無助與大學 A 成績三年上升 30%。