AISpot

llama.cpp 新版本支援跨程序併發下載模型

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b11848 版本,主要變更是允許不同程序同時下載檔案(#29312),由 Hugging Face 的 Adrien Gallouët 提交。

原標題:b11848
閱讀原文

評分45 / 32(平均 38,門檻 60)
狀態未入選

原文

common : allow concurrent downloads across processes ( #29312 ) Signed-off-by: Adrien Gallouët [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/59320287 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分45

llama.cpp b11572 新增 vLLM d3 模型支援

llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

llama.cpp releases● 精選AI 評分78

llama.cpp UI 新增 Discover,可瀏覽下載 HuggingFace GGUF 並斷點續傳

llama.cpp 的圖形介面新增 Discover Models 檢視,可直接在應用內瀏覽並下載 HuggingFace 上的 GGUF 模型,由 Enable Discover Models 開關控制。下載支援暫停與續傳:暫停後保留已下載的分片檔案,重啟或重新開啟後仍能接著磁碟上的進度繼續。下載項按倉庫聚類,主權重會順帶拉取匹配的 draft sidecar(DFlash 優先於 MTP)以啟用投機解碼,決策模型等無法執行的模型已從目錄與搜尋中過濾。