NVIDIA 用 Nemotron 開源模型打造萬聖節語音互動鬼屋
NVIDIA 員工用 Nemotron 系列開源模型搭出萬聖節互動投影裝置 MonsterHouse,全部在一臺工作站本地執行。Nemotron 3 ASR 負責聽,Nemotron 3.5 Bolt E4B 4GB(4-bit 量化版)配 LoRA 人格負責對話,Magpie TTS Zeroshot 出聲,Audio2Face-3D 在虛幻引擎 5 裡驅動車庫門木嘴動畫;另有 Nemotron 3 Nano Omni 識別服裝、YOLO 與 ByteTrack 計數訪客。
完整給出開源小模型加 ASR、TTS、Audio2Face 在單機上跑即時語音角色的可行鏈路,並附十幾個模型的實測選型結論,對做本地語音 agent 與互動裝置的人有參考價值。
原標題:nemotron-halloween
閱讀原文
| 評分 | 64 / 55(平均 59,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
輝達開源 Nemotron 3.5 Transcribe:轉寫、說話人分離與翻譯合一
輝達發布開放權重模型 Nemotron 3.5 Transcribe,用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答,已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分,可處理最長 1 小時錄音、標註最多 8 位說話人,並支援用自然語言提示控制輸出格式與專業術語。
輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型
輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL,主打多模態 agentic 任務,官方稱其準確率接近自家最大推理模型、引數量約為五分之一,吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型:Bolt 74B-A9B 24GB 採用原生 2-bit 量化,可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent,現已可用;Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置,10 月 23 日發布。
Ollama 本地模型新增 Nemotron-3.5 與 Phonon TTS
Ollama 公布過去兩週的模型更新,本地端新增 Nemotron-3.5-bolt、Nemotron-3.5-super、Bonsai-2、EmbeddingGemma-2、Flint,以及文字轉語音模型 Phonon。雲端上線 Beam(限時免費)、Muse-spark-open、MiniMax-m3.1-flash、Mistral-large-4、DeepSeek-v4.1-flash:1017 和 Clef。