llama.cpp 新增 SenseNova U1 視覺理解支援
llama.cpp 發布 b11801 建置，新增 SenseNova U1 稠密理解分支支援（含 U1.5-8B-MoT）與視覺編碼器推理。轉換指令碼支援 HF 到 GGUF（NEOChatModel），排除 MoT 生成張量並拼接時間與空間 Q/K 歸一化權重，註冊 sensenova_u1 GGUF 架構與自訂空間 RoPE 後設資料，實現 4 軸 RoPE 下的時/空 Q/K 歸一化。
llama.cpp 首次打通 SenseNova U1 的 GGUF 轉換與視覺推理，並明確只收稠密理解分支、拒絕生成分支，便於在本地硬體上評估該多模態模型的可行性。
原標題：b11801
閱讀原文
| 評分 | 62 / 64（平均 63，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
model：新增對 SenseNova U1 模型的支援（#28919）
model：新增 SenseNova U1 理解支援
新增對稠密 SenseNova U1 理解分支的支援，包括
U1.5-8B-MoT 模型。
為 NEOChatModel 新增 HF 到 GGUF 的轉換，排除 MoT 生成
張量，並拼接時間與空間 Q/K 歸一化
權重。
註冊 sensenova_u1 GGUF 架構和自訂空間 RoPE
後設資料。
實現帶有 4 軸 RoPE 的時間/空間 Q/K 歸一化。
在模型實現中保留 U1 特定的文字位置處理。
為 sensenova_u1 新增合成架構覆蓋。
僅支援稠密理解分支；生成
分支在轉換期間會被有意拒絕。
conversion：將單專家 SenseNova U1 配置視為稠密
mtmd：新增 SenseNova U1 視覺支援
新增對 SenseNova U1 視覺編碼器的轉換支援，並實現
其 CPU mtmd 投影器圖。
該圖對動態解析度影像輸入應用 patch embedding、GELU、相鄰對 2D RoPE、空間
下采樣和稠密投影。
mtmd：修復 SenseNova U1 視覺 token 佈局
model：清理 SenseNova U1 RoPE 後設資料
將硬編碼的空間 RoPE 鍵替換為共享的 GGUF 和 LLM_KV
定義，供轉換、模型載入和架構測試使用。
闡明 SenseNova U1 為何保留其自訂文字位置輸入：U1 使用
[t, 0, 0, 0]，而通用 M-RoPE 輸入使用 [t, t, t, 0]。
mtmd：簡化 SenseNova U1 投影器整合
將 SenseNova U1 稠密投影對映到標準 mm.0 權重和
偏置張量，並在載入器和圖中複用共享投影器欄位。
從檢查點配置讀取視覺引數，並移除
U1 特定的張量名稱和模型欄位，同時保留其跨步
投影、偏置和行主序 token 佈局。
mtmd：修復 SenseNova U1 影像位置和注意力
修復間距
mtmd：恢復通用測試輸入塊
mtmd：在上游合併後恢復 SenseNova U1 整合
更新 conversion/sensenova_u1.py
Co-authored-by: Sigbjørn Skjæret [email protected]
更新 src/models/sensenova-u1.cpp
Co-authored-by: Sigbjørn Skjæret [email protected]
model：移除 SenseNova U1 BF16 啟用轉換
對 QKV、FFN 和輸出
投影使用標準後端精度處理，而不是根據輸出張量型別轉換輸入。
Assisted-by: Codex
更新 src/models/sensenova-u1.cpp
共同作者：Sigbjørn Skjæret [email protected]
共同作者：Sigbjørn Skjæret [email protected]
網站：
https://llama.app
證明：
https://github.com/ggml-org/llama.cpp/attestations/58406636
macOS/iOS：
- macOS Apple Silicon（arm64）
- macOS Apple Silicon（arm64，已啟用 KleidiAI）已停用
- macOS Intel（x64）
- iOS XCFramework
Linux：
- Ubuntu x64（CPU）
- Ubuntu arm64（CPU）
- Ubuntu s390x（CPU）
- Ubuntu x64（Vulkan）
- Ubuntu arm64（Vulkan）
- Ubuntu x64（CUDA 12）- CUDA 12.8 庫
- Ubuntu x64（CUDA 13）- CUDA 13.4 庫
- Ubuntu arm64（CUDA 13）- CUDA 13.4 庫
- Ubuntu x64（ROCm 10.0）
- Ubuntu x64（OpenVINO）
- Ubuntu x64（SYCL FP32）
- Ubuntu x64（SYCL FP16）
- Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 設定指南
Android：
- Android arm64（CPU）
- Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 設定指南
Windows：
- Windows x64（CPU）
- Windows arm64（CPU）
- Windows arm64（OpenCL Adreno）
- Windows x64（CUDA 12）- CUDA 12.4 DLL
- Windows x64（CUDA 13）- CUDA 13.4 DLL
- Windows arm64（CUDA 13）- CUDA 13.4 DLL
- Windows x64（Vulkan）
- Windows arm64（Vulkan）
- Windows x64（OpenVINO）
- Windows x64（SYCL）
- Windows x64（ROCm 10.0）
openEuler：
- 已停用
- openEuler x86（310p）
- openEuler x86（910b，ACL Graph）
- openEuler aarch64（310p）
- openEuler aarch64（910b，ACL Graph）
UI：
- UI
由 AI 翻譯，以原文為準。
原文
model: Add support for SenseNova U1 model ( #28919 )
model : add SenseNova U1 understanding support
Add support for the dense SenseNova U1 understanding branch, including
the U1.5-8B-MoT model.
Add HF-to-GGUF conversion for NEOChatModel, excluding MoT generation
tensors and concatenating temporal and spatial Q/K normalization
weights.
Register the sensenova_u1 GGUF architecture and custom spatial RoPE
metadata.
Implement temporal/spatial Q/K normalization with 4-axis RoPE.
Keep U1-specific text position handling in the model implementation.
Add synthetic architecture coverage for sensenova_u1.
Only the dense understanding branch is supported; generation
branches are intentionally rejected during conversion.
conversion : treat one-expert SenseNova U1 configs as dense
mtmd : add SenseNova U1 vision support
Add conversion support for the SenseNova U1 vision encoder and implement
its CPU mtmd projector graph.
The graph applies patch embedding, GELU, adjacent-pair 2D RoPE, spatial
downsampling, and dense projection for dynamic-resolution image inputs.
mtmd : fix SenseNova U1 vision token layout
model : clean up SenseNova U1 RoPE metadata
Replace the hard-coded spatial RoPE key with shared GGUF and LLM_KV
definitions used by conversion, model loading, and architecture tests.
Clarify why SenseNova U1 retains its custom text-position input: U1 uses
[t, 0, 0, 0], while the generic M-RoPE input uses [t, t, t, 0].
mtmd : simplify SenseNova U1 projector integration
Map the SenseNova U1 dense projection to the standard mm.0 weight and
bias tensors and reuse the shared projector fields in the loader and graph.
Read vision parameters from the checkpoint configuration and remove the
U1-specific tensor names and model fields while preserving its strided
projection, bias, and row-major token layout.
mtmd : fix SenseNova U1 image positions and attention
fix spacing
mtmd : restore generic test input chunks
mtmd : restore SenseNova U1 integration after upstream merge
Update conversion/sensenova_u1.py
Co-authored-by: Sigbjørn Skjæret [email protected]
Update src/models/sensenova-u1.cpp
Co-authored-by: Sigbjørn Skjæret [email protected]
model : remove SenseNova U1 BF16 activation casts
Use standard backend precision handling for QKV, FFN, and output
projections instead of casting inputs based on the output tensor type.
Assisted-by: Codex
Update src/models/sensenova-u1.cpp
Co-authored-by: Sigbjørn Skjæret [email protected]
Co-authored-by: Sigbjørn Skjæret [email protected]
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/58406636
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分55
llama.cpp 新增 Flint 模型支援，多平台建置同步更新
llama.cpp 建置 b11803 合併了對新模型 Flint（FlintForCausalLM）的支援，該提交由 Codex 協助完成，合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp releasesAI 評分25
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
llama.cpp releasesAI 評分45
llama.cpp b11701 新增 Beam (Reflection) 模型支援
llama.cpp 建置 b11701 加入 Beam (Reflection) 模型支援（PR #30670），官方站點為 llama.app。該版本同步釋出 macOS（Apple Silicon/Intel）、iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU…
llama.cpp releasesAI 評分45
llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp releasesAI 評分45
llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；