llama.cpp v0.8.0 支援 LFM3 全模態與即時語音端點
llama.cpp 發布 v0.8.0,新增 LiquidAI LFM3 模型家族,包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B,並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點,實現 OpenAI realtime 協議,用於即時對話與轉寫,另有 POST /tts 文字轉語音端點,推理努力等級也可通過 API 選擇。
依意思最接近的 30 筆
llama.cpp 發布 v0.8.0,新增 LiquidAI LFM3 模型家族,包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B,並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點,實現 OpenAI realtime 協議,用於即時對話與轉寫,另有 POST /tts 文字轉語音端點,推理努力等級也可通過 API 選擇。
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取,並按 model_type 自動識別;LFM3-Audio 的 depthformer 關閉 flash attention,編碼器卷積與 codec 保持不量化。
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點,可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed,並補齊 /tts 的路由、文件與 server_schema;mtmd 同時新增音訊輸出流 API。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Ollama 0.40.11 起可直接執行語音模型,首個是 Gradium 的文字轉語音模型 Phonon,目前僅支援 Apple Silicon 的 Mac,Windows 與 Linux 稍後推出。在 M5 Max 的 MacBook Pro 上,其速度比 Gradium 自家執行時快 35%,詞錯率與 Hugging Face Transformers 參考實現持平;可用 --voice 選音色,另有法、德、西、葡等 40M 多語言版本。
llama.cpp 合併 PR,加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base,並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度,同時補充 LFM3 的 Metal 融合基線測試。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
v0.40.9-rc3 將 Gradium Phonon 的預發布檢查點路徑替換為 GA 正式格式,並加入預設音色匯入與語音條件控制。該版本把最低版本要求設為 0.40.9,更新語音文件,並測試匯入、推理配置以及拒絕舊檢查點。
Ollama 0.40.11 在 macOS 上加入語音生成能力,ollama run 可在音訊生成的同時朗讀文字或模型回覆,應用也能通過相容 OpenAI 的 /v1/audio/speech 介面流式獲取音訊。同版本還引入 vLLM Semantic Router 的 d3 決策模型,提供 2B、4B、9B、27B 四種規模,可對文字、結構化狀態或影像做分類、是否判斷或為選項打機率分。
Ollama v0.40.12 上線 Liquid AI 的 LFM3 小模型家族,面向本地 agent、工具呼叫與結構化輸出。1.7B 的 lfm3 支援 256K token 上下文,系列另有影像版 lfm3-vl、覆蓋 18 種語言語音的 lfm3-audio 與三模態的 lfm3-omni,以及 2B 的 d1 決策模型。本次 lfm3 與 d1 2b 已支援 Apple 硬體,Linux/Windows 稍後跟進。
llama.cpp 發布 b11675 建置,在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面,並加入對 Voxtral Realtime 即時音訊模型的支援。
Ollama 發布 v0.40.9,原本只能在 macOS 上執行的 Flint 現在也支援 Linux 和 Windows。流式 OpenAI Responses 與 Anthropic Messages 請求中途出錯時會明確報告生成失敗,不再在部分輸出後靜默結束;ollama launch 現在會把雲端模型的上下文長度與能力傳給 coding 工具,修正上下文與壓縮設定。
llama.cpp 的 server 加入 Realtime transcription API,可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話,會話物件採用 type transcription,輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權,支援 Bearer、原始 key 與 X-Api-Key,401 在升級前返回;
llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931,並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣:此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits,導致併發會話輸出互相混淆,現在改為每個 slot 在自身解碼後立即取樣;
ChatGPT Voice 開始推送 GPT-Live-1.1 及其輕量版 GPT-Live-1.1 Quip,跨語言的語音口音更自然,Live 在搜尋時會用更多樣的短句提示。新增語音覆蓋法語、德語、印地語、日語、韓語和墨西哥西班牙語,另有英語的 Bubbie,可見選項因地區和帳號而異。使用者可在 Settings > Voice 中選擇語音。
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
OpenAI 為 ChatGPT、Codex 和 dots 的語音功能推送 GPT-Live-1.1,新增法語、德語、印地語、墨西哥西班牙語、韓語和日語的新語音,口音更自然,並減少了「checking...」這類停頓。該更新今日起向所有使用者推送,API 稍後支援。
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
LM Studio 推出 Read Aloud 朗讀功能,由本地小型 TTS 模型驅動。該模型是 GradiumAI 的 Phonon,語音合成在本地完成。官方目前只公布了模型來源,未說明支援的語言、平台、音色數量或可調引數。
Ollama 公布過去兩週的模型更新,本地端新增 Nemotron-3.5-bolt、Nemotron-3.5-super、Bonsai-2、EmbeddingGemma-2、Flint,以及文字轉語音模型 Phonon。雲端上線 Beam(限時免費)、Muse-spark-open、MiniMax-m3.1-flash、Mistral-large-4、DeepSeek-v4.1-flash:1017 和 Clef。
@SpaceXAI 發布語音到語音模型 Grok Voice 3.0,官方稱其為全球最智慧的語音到語音模型。該模型回應時間低於一秒,擅長處理客戶來電,且成本低於其他前沿模型。官方暫未公布具體價格、可用範圍與上線時間。
llama.cpp 發布 b11899 建置,多模態模組 mtmd 新增 mtmd_helper_get_capabilities 介面,用於查詢模型能力,並加入 audio_stream 音訊流支援,同時恢復舊 API 以保持相容,涉及 audio_gen_spk_ref 與 text_gen。
Ollama v0.40.13 讓 Liquid AI 的 LFM3 系列模型除了 Apple silicon 外,也能在 Linux 和 Windows 上執行。此次更新涉及 lfm3-audio 與 lfm3-omni,其中包含文字轉語音能力。版本共含 2 個提交,完整變更見 v0.40.12 到 v0.40.13 的對比。
Liquid AI 的 LFM3 系列模型已可在 Ollama 本地執行,覆蓋文字、視覺、音訊、omni 與決策模型。文字模型在 4-bit 量化下僅約 1 GB,上下文視窗 256K,官方定位是可隨處執行、並能在單張 GPU 上微調的小模型。
vLLM 0.31 新增服務端開關,啟用約束解碼後工具呼叫的 schema 準確率可達 100%。此前用 vLLM 0.28 部署 Kimi K2.6 時,只有 92% 的工具呼叫符合預期結構,相當於每 25 次就有 2 次失敗。該特性對新版 Kimi 與 DeepSeek 模型可保證輸出遵循 schema,主要影響依賴多輪工具呼叫的 agent 負載。
llama.cpp 合併 PR #28607,在 mtmd 中加入 Soprano TTS 語音生成支援,可載入 Soprano-80M 與 Soprano-1.1-80M。兩個模型均為 Qwen3 主幹加 Vocos 解碼器:轉換指令碼可自動識別 checkpoint,把主幹匯出為 qwen3、把 decoder.pth 匯出為 mmproj,同時新增 Soprano 預分詞器(小寫、空白摺疊、逐數字切分、[UNK] 兜底)與 Vocos 計算圖和 ISTFT。
llama.cpp 建置 b11945 加入 LiquidAI d1-2B 與 d1-omni-2B 兩個模型的推理支援,其中 d1-omni-2B 為多模態版本。轉換指令碼同步調整:d1 的 GGUF 不再包含語音任務模板,另有一處 no_batching 的小重構。
Karpathy 認為,隨著 LLM 能力提升,人類工作將更多轉向監督與理解模型輸出,而 LLM 本身也能在這方面提供幫助。他給出的遞進式技巧包括:要求模型用航空維護文件規範 ASD-STE100 寫作、生成圖表、輸出 HTML 互動網頁,以及製作定製解釋影片,例如用 ElevenLabs API 生成 3b1b 風格影片。他強調可以要求模型產出大型、定製、用完即棄的軟體產物,如網頁應用和影片直譯器。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
Ollama 發布 v0.40.11,為 Phonon 新增了語音目錄(voice catalog);同時 MLX 推理端會把符號、數字和連結按朗讀方式展開。內建 llama.cpp 升到 b11845;OpenCode 啟動改用已分配的上下文,qwen3coder 修復引數裡字面量函式閉合標籤被吞掉的問題,vllm-d3 允許空狀態。版本由 v0.40.10 推進到 v0.40.11-rc0。