搜尋

找到 9 筆

llama.cpp releases10/3 02:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

閱讀原文

llama.cpp releases10/2 14:52AI 評分17

llama.cpp 發布 b11346 版本，修復 qwen4exp 測試

llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

閱讀原文

llama.cpp releases10/4 09:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

閱讀原文

llama.cpp releases10/4 01:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

閱讀原文

llama.cpp releases10/5 09:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

閱讀原文

llama.cpp releases10/3 22:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

閱讀原文

llama.cpp releases10/2 15:28AI 評分20

llama.cpp 更新為 Hexagon NPU 安裝重建的 HTP skels

llama.cpp 合併 PR #29828，為高通 Hexagon NPU 安裝重建的 HTP skels，並修復 HTP skel 目錄依賴。該改動面向在驍龍裝置上通過 Hexagon NPU 執行本地推理的使用者，涉及 Linux arm64 與 Android arm64 的 Snapdragon 建置。相關建置產物已隨本次發布提供，並附有 attestations 連結。

地端推論開源 llama.cpp Hexagon NPU HTP 本地推理版本發布

閱讀原文

llama.cpp releases10/6 00:13AI 評分48

llama.cpp b11433 為 Hexagon NPU 加入池化運算元支援

llama.cpp 新建置 b11433 在高通 Hexagon NPU 後端加入 pool 運算元支援，包含 pool_1d 與 pool_2d。同一批提交重寫了 DMA 流水線、加入池化分塊（pool chunking）、移除並向量化全部標量路徑，並最佳化 HTP 池化邊界、簡化分塊求解器與清理冗餘檢查。

地端推論開源 llama.cpp Hexagon NPU Snapdragon pooling 運算元本地推理

閱讀原文

llama.cpp releases10/2 14:11AI 評分43

llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援

llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。

地端推論開源 llama.cpp Hexagon 量化 q2_k q3_k

閱讀原文