AISpot
所屬事件：Meta 開源 816B 多模態 MoE 模型 Muse Spark Open（6 個來源 · 6 則報導）

2026 年 10 月 15 日，Meta 發布開放權重模型 Muse Spark Open，稱其為迄今最強的美國開源權重模型。該模型採用混合專家架構，總引數約 816B、每 token 啟用約 42B，上下文視窗最高 100 萬 token，原生支援文字、影像、音訊與影片輸入、輸出文字，並針對 agentic cod… 看完整事件

b11671: model: add Muse Spark Open (text, vision and audio) (#30616)

llama.cpp releases版本更新模型開源地端推論

llama.cpp 合併 PR #30616，新增對 Muse Spark Open 的支援，可處理文字、視覺與音訊。它是潛空間 MoE：殘差流保持 8192 維，256 個專家住在 4096 維，用 top-8 sigmoid 路由加校正偏置；視覺複用 Muse Glimmer 塔，音訊用無注意力的因果卷積金字塔，每 80 毫秒 24 kHz 音訊對應一個 embedding。量化時潛空間投影與注意力門保留 Q8_0（略超 1% 的權重），因為低位型別會讓輸出陷入重複迴圈。

llama.cpp 新增對 Muse Spark Open 這一潛空間 MoE 多模態架構的支援，並披露量化細節：僅略超 1% 的權重須固定在 Q8_0，否則輸出會陷入重複迴圈，對本地推理與量化實踐有參考價值。

Muse Spark OpenMoE多模態量化llama.cpp

原標題：b11671: model: add Muse Spark Open (text, vision and audio) (#30616)
閱讀原文

同一事件共有 6 則報導（6 個來源），看事件全貌

評分68 / 60（平均 64，門檻 60）
狀態精選

全文翻譯

model: 新增 Muse Spark Open（文字、視覺和音訊） Muse Spark Open 是一個潛在空間 MoE：殘差流保持在 8192，而 256 個專家位於 4096 中，在它們周圍有一個向下和向上的投影，帶校正偏置的 top-8 sigmoid 路由。注意力交錯三個位於 2048 視窗的滑動層（帶 rope）和一個不帶 rope 的全域性層，帶有 sigmoid 輸出門和無權重 QK-norm。殘差保持範數，它們的門在轉換時被摺疊。視覺複用 Muse Glimmer tower。音訊是一個因果卷積金字塔，沒有注意力和頻譜圖，四個階段將 16、6、5 和 4 個樣本摺疊到通道維度，每 80 ms 的 24 kHz 一個嵌入。量化器將潛在投影和注意力門保持在 Q8_0，它們佔權重的略高於 1%，因為整個殘差流都經過它們，而低位型別將輸出變成了重複迴圈。模型儲存器寫入 post norm epsilon，且該架構註冊在 test-llama-archs 中。 Co-authored-by: Xuan Son Nguyen [email protected] Co-authored-by: Pedro Cuenca [email protected] Muse Spark: 移除冗餘的 forward expand Muse Spark: 移除冗餘的 forward expand 並精簡註釋 更新 src/llama-quant.cpp Co-authored-by: Sigbjørn Skjæret [email protected] 更新 src/llama-graph.cpp Co-authored-by: Sigbjørn Skjæret [email protected] 更新 conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] 更新 conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] 更新 conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] 更新 conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] Co-authored-by: Xuan Son Nguyen [email protected] Co-authored-by: Pedro Cuenca [email protected] Co-authored-by: Sigbjørn Skjæret [email protected]

由 AI 翻譯，以原文為準。

原文
model: add Muse Spark Open (text, vision and audio) Muse Spark Open is a latent space MoE: the residual stream stays at 8192 while the 256 experts live in 4096, with a projection down and up around them, top-8 sigmoid routing with a correction bias. Attention interleaves three sliding layers at a 2048 window with rope for one global layer without rope, with a sigmoid output gate and a weightless QK-norm. Residuals are norm preserving, their gate is folded at conversion time. Vision reuses the Muse Glimmer tower. Audio is a causal convolutional pyramid with no attention and no spectrogram, four stages folding 16, 6, 5 and 4 samples into the channel dim, one embedding per 80 ms of 24 kHz. The quantizer keeps the latent projections and the attention gate at Q8_0, a little over 1% of the weights, since the whole residual stream passes through them and the low-bit types turned the output into a repeating loop. The model saver writes the post norm epsilon, and the arch is registered in test-llama-archs. Co-authored-by: Xuan Son Nguyen [email protected] Co-authored-by: Pedro Cuenca [email protected] Muse Spark: drop the redundant forward expand Muse Spark: drop the redundant forward expand and tighten the comments Update src/llama-quant.cpp Co-authored-by: Sigbjørn Skjæret [email protected] Update src/llama-graph.cpp Co-authored-by: Sigbjørn Skjæret [email protected] Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] Update conversion/muse_spark.py Co-authored-by: Sigbjørn Skjæret [email protected] Co-authored-by: Xuan Son Nguyen [email protected] Co-authored-by: Pedro Cuenca [email protected] Co-authored-by: Sigbjørn Skjæret [email protected]

相關報導

llama.cpp releasesAI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；

地端推論開源llama.cppLiquidAId1-omni-600M多模態本地推理
2 個來源 · 2 則報導閱讀原文
llama.cpp releases● 精選AI 評分69

llama.cpp b11507 支援 MoE 快取跨多 GPU

llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。

地端推論開源llama.cppMoE多 GPU本地推理版本更新
閱讀原文