llama.cpp 新增 DeepSeek-V4.1-Flash 支援
llama.cpp 建置 b11870 加入 DeepSeek-V4.1-Flash(deepseek41)模型支援,同時移除 MXFP8、把 Engram 錶轉為 BF16。同批改動把壓縮 KV 的讀取層改為在快取中只算一次,Engram 行改為圖內 gather(與 qwen4exp 一致)、去掉主機側 gather,top-k 行在稀疏 gather 前先排序,並刪除 LLAMA_DSV41_KV_MIRROR 開關;
在本地跑模型的人可據此確認 llama.cpp 對 DeepSeek-V4.1-Flash 的運算元級適配細節(BF16 Engram、圖內 gather、KV 快取最佳化),且預編譯包已覆蓋 Metal 到 CUDA/ROCm 多平台。
原標題:b11870
閱讀原文
| 評分 | 58 / 66(平均 62,門檻 60) |
|---|---|
| 狀態 | 精選 |
全文翻譯
model: DSV4.1 flash ( #31086 )
model : 新增 DeepSeek-V4.1-Flash (deepseek41)
deepseek41 : 移除 MXFP8,將 Engram 錶轉換為 BF16
deepseek41 : 在快取中一次性計算壓縮 KV 讀取層
deepseek41 : 使用 get_cells() 進行共享歷史檢查,移除 llama_kv_cache::seq_pos_tok_le
deepseek41 : 像 qwen4exp 一樣在圖內收集 Engram 行,移除主機端收集
deepseek41 : 將 Engram 雜湊常量保留在 hparams.ple_* 中,每個 Engram 層一個模組
deepseek41 : 移除 LLAMA_DSV41_KV_MIRROR 開關
deepseek41 : 在 build_hc_mixes 中保持 il 最後
deepseek41 : 在稀疏收集前對 top-k 行進行排序
tests : 將 deepseek41 新增到 Metal 融合基線
Co-authored-by: Daniel Han [email protected]
網站:
https://llama.app
證明:
https://github.com/ggml-org/llama.cpp/attestations/59523050
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) 已停用
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 庫
Ubuntu x64 (CUDA 13) - CUDA 13.4 庫
Ubuntu arm64 (CUDA 13) - CUDA 13.4 庫
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
已停用
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
由 AI 翻譯,以原文為準。
原文
model: DSV4.1 flash ( #31086 )
model : add DeepSeek-V4.1-Flash (deepseek41)
deepseek41 : remove MXFP8, convert the Engram table to BF16
deepseek41 : compute the compressed-KV read layers once in the cache
deepseek41 : use get_cells() for the shared-history check, drop llama_kv_cache::seq_pos_tok_le
deepseek41 : gather the Engram rows in-graph like qwen4exp, drop the host gather
deepseek41 : keep the Engram hash constants in hparams.ple_*, one module per Engram layer
deepseek41 : drop the LLAMA_DSV41_KV_MIRROR toggle
deepseek41 : keep il last in build_hc_mixes
deepseek41 : sort the top-k rows before the sparse gather
tests : add deepseek41 to the Metal fusion baseline
Co-authored-by: Daniel Han [email protected]
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/59523050
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分43
llama.cpp 建置 b11512 修復 DFlash 輸出頭共享
llama.cpp 發布建置 b11512,首要改動是修復 DFlash 模型的輸出頭共享問題。該版本改為從 GGUF 後設資料讀取繫結的輸出權重、共享繫結的詞嵌入後設資料,並移除 DFlash 嵌入頭回退邏輯,這幾項改動均由 Codex 協助完成。
量子位● 精選AI 評分92
DeepSeek 發布 V4.1-Flash-1017,同步開放自研搜尋 API
DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,網頁端、App 與 API 已同步切換。相比上一版 V4.1 Flash,程式碼與 Agent 任務等基準測試全面上漲,同時任務執行時間和輸出長度下降,官方稱其為效能—費用的帕累托改進;完整使用需把 DeepSeek Harness 升級至 0.2.1-rc.1 及以上,新使用者首次登入 Harness 可領 6 元贈金,7 天內有效、限量發放。