搜尋

找到 4 筆；也可以試試語意搜尋

llama.cpp releases10/3 12:54AI 評分42

llama.cpp 的 OpenVINO 後端更新，MoE 推理大幅提速

ggml-openvino 後端更新至 2026.4.1，新增 MoE 路由融合與 GDN 歸一化融合，並預設在 GPU 上啟用 MoE 融合。在 Arc B390 上跑 gemma-4-26B-A4B，配合 q4_asym64 重新量化，pp512 從 66.16 t/s 提升到 1608.73 t/s，困惑度基本不變。同時修復了 stateful 執行下 rank-3 軸處理導致的 MoE 崩潰，並改進裝置列舉與記憶體上報。

地端推論開發工具 OpenVINO llama.cpp MoE Qwen3.5 推理最佳化

閱讀原文

llama.cpp releases● 精選10/2 23:23AI 評分65

llama.cpp b11352 最佳化 qwen4exp 掩碼建置

llama.cpp 發布 b11352 版本，主要改動是最佳化 qwen4exp 的掩碼（mask）建置（#29824），並將同一改動應用到 GLM5-next。該版本繼續提供 macOS Apple Silicon（arm64）、iOS、Linux、Windows、Android 等平台建置，涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 與 Snapdragon 後端。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

閱讀原文

llama.cpp releases10/2 16:43AI 評分40

llama.cpp b11349 加 Vulkan 編譯日誌

llama.cpp 發布 b11349，新增 Vulkan 管線編譯問題的日誌輸出（#29794）。該版本提供 macOS/iOS、Linux、Android、Windows、openEuler 建置產物，涵蓋 Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。

地端推論開源 llama.cpp Vulkan 版本發布建置產物本地推理

閱讀原文

llama.cpp releases10/2 14:52AI 評分48

llama.cpp 發布 b11346，修復 qwen4exp 測試

llama.cpp 發布建置 b11346，本次改動是修復 qwen4exp 的測試（PR #29819）。該版本繼續提供 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework 預編譯包，Linux 與 Windows 覆蓋 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL 等後端，另有 Android arm64 與 openEuler 版本。

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

閱讀原文