AISpot

llama.cpp 新增 DeepSeek-V4.1-Flash 支援

llama.cpp releases版本更新地端推論開源

llama.cpp 建置 b11870 加入 DeepSeek-V4.1-Flash(deepseek41)模型支援,同時移除 MXFP8、把 Engram 錶轉為 BF16。同批改動把壓縮 KV 的讀取層改為在快取中只算一次,Engram 行改為圖內 gather(與 qwen4exp 一致)、去掉主機側 gather,top-k 行在稀疏 gather 前先排序,並刪除 LLAMA_DSV41_KV_MIRROR 開關;

在本地跑模型的人可據此確認 llama.cpp 對 DeepSeek-V4.1-Flash 的運算元級適配細節(BF16 Engram、圖內 gather、KV 快取最佳化),且預編譯包已覆蓋 Metal 到 CUDA/ROCm 多平台。

原標題:b11870
閱讀原文

評分58 / 66(平均 62,門檻 60)
狀態精選

全文翻譯

model: DSV4.1 flash ( #31086 ) model : 新增 DeepSeek-V4.1-Flash (deepseek41) deepseek41 : 移除 MXFP8,將 Engram 錶轉換為 BF16 deepseek41 : 在快取中一次性計算壓縮 KV 讀取層 deepseek41 : 使用 get_cells() 進行共享歷史檢查,移除 llama_kv_cache::seq_pos_tok_le deepseek41 : 像 qwen4exp 一樣在圖內收集 Engram 行,移除主機端收集 deepseek41 : 將 Engram 雜湊常量保留在 hparams.ple_* 中,每個 Engram 層一個模組 deepseek41 : 移除 LLAMA_DSV41_KV_MIRROR 開關 deepseek41 : 在 build_hc_mixes 中保持 il 最後 deepseek41 : 在稀疏收集前對 top-k 行進行排序 tests : 將 deepseek41 新增到 Metal 融合基線 Co-authored-by: Daniel Han [email protected] 網站: https://llama.app 證明: https://github.com/ggml-org/llama.cpp/attestations/59523050 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) 已停用 macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 庫 Ubuntu x64 (CUDA 13) - CUDA 13.4 庫 Ubuntu arm64 (CUDA 13) - CUDA 13.4 庫 Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南 Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南 Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: 已停用 openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

由 AI 翻譯,以原文為準。

原文
model: DSV4.1 flash ( #31086 ) model : add DeepSeek-V4.1-Flash (deepseek41) deepseek41 : remove MXFP8, convert the Engram table to BF16 deepseek41 : compute the compressed-KV read layers once in the cache deepseek41 : use get_cells() for the shared-history check, drop llama_kv_cache::seq_pos_tok_le deepseek41 : gather the Engram rows in-graph like qwen4exp, drop the host gather deepseek41 : keep the Engram hash constants in hparams.ple_*, one module per Engram layer deepseek41 : drop the LLAMA_DSV41_KV_MIRROR toggle deepseek41 : keep il last in build_hc_mixes deepseek41 : sort the top-k rows before the sparse gather tests : add deepseek41 to the Metal fusion baseline Co-authored-by: Daniel Han [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/59523050 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

量子位● 精選AI 評分92

DeepSeek 發布 V4.1-Flash-1017,同步開放自研搜尋 API

DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,網頁端、App 與 API 已同步切換。相比上一版 V4.1 Flash,程式碼與 Agent 任務等基準測試全面上漲,同時任務執行時間和輸出長度下降,官方稱其為效能—費用的帕累托改進;完整使用需把 DeepSeek Harness 升級至 0.2.1-rc.1 及以上,新使用者首次登入 Harness 可領 6 元贈金,7 天內有效、限量發放。