llama.cpp 新版本支援跨程序併發下載模型
llama.cpp 發布 b11848 版本,主要變更是允許不同程序同時下載檔案(#29312),由 Hugging Face 的 Adrien Gallouët 提交。
原標題:b11848
閱讀原文
| 評分 | 45 / 32(平均 38,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11391 版本,CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp 發布 b11392 建置,CI 預設權限調整
llama.cpp 發布 b11392 版本,主要變更是 CI 設定預設權限(#29945)。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端;
llama.cpp 發布 b11384 版本,覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp UI 新增 Discover,可瀏覽下載 HuggingFace GGUF 並斷點續傳
llama.cpp 的圖形介面新增 Discover Models 檢視,可直接在應用內瀏覽並下載 HuggingFace 上的 GGUF 模型,由 Enable Discover Models 開關控制。下載支援暫停與續傳:暫停後保留已下載的分片檔案,重啟或重新開啟後仍能接著磁碟上的進度繼續。下載項按倉庫聚類,主權重會順帶拉取匹配的 draft sidecar(DFlash 優先於 MTP)以啟用投機解碼,決策模型等無法執行的模型已從目錄與搜尋中過濾。