搜尋

依意思最接近的 30 筆

llama.cpp releases10/21 16:04AI 評分38

llama.cpp 的 OpenCL 後端新增 IM2COL_3D 支援

llama.cpp 建置 b11797 為 ggml-opencl 後端加入 IM2COL_3D 支援，讓 OpenCL 路徑可以處理三維卷積的 im2col 展開。同一提交還統一了 kernel 與 host 端的資料型別，並修復了舊款 Adreno GPU 的相容問題；該改動由高通工程師參與提交。

地端推論開源 llama.cpp ggml-opencl OpenCL IM2COL_3D 版本發布

llama.cpp releases10/21 10:27AI 評分41

llama.cpp 為 OpenCL 新增 dp4a GEMM 變體並重新命名核心

llama.cpp 建置 b11789 為 OpenCL 後端新增支援向量化啟用載入的 dp4a GEMM 變體，用於提升量化矩陣乘的推理效率，同時重新命名了相關核心與環境變數。

地端推論開源 llama.cpp OpenCL dp4a GEMM 版本發布

llama.cpp releases10/6 18:51AI 評分46

llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤

ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤，涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride，CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03；現在兩者都改為遵循 dims 1..3 的 stride，且 CUDA 的 supports_op 要求行連續，與 Metal 一致。

地端推論開源 llama.cpp ggml CLAMP CUDA 非連續檢視

1 個來源 · 2 則報導閱讀原文

Ollama releases10/20 21:15AI 評分26

v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫

v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄，消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄；MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包，並在發布打包流程中校驗這些依賴。

地端推論開源 MLX CUDA GGML 本地推理發布候選

llama.cpp releases10/6 06:57AI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；

地端推論開源 llama.cpp OpenVINO 後端修復 GPU NPU

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/19 20:17AI 評分45

llama.cpp 為 OpenCL 新增 cooperative-k dp4a GEMM

llama.cpp 建置 b11741 在 OpenCL 後端為 q4_0、q4_k、q6_k 三種量化格式加入 cooperative-k dp4a GEMM，並修復對齊問題。這意味著在 OpenCL 上執行這些 4bit、6bit 量化模型的裝置可以用上新的矩陣乘實現。該版本同時更新了 macOS、Linux、Windows、Android 多平台建置，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端。

地端推論開源 llama.cpp OpenCL dp4a GEMM 量化

llama.cpp releases10/20 23:01AI 評分39

llama.cpp OpenCL 後端新增多個小批次 GEMM 變體並修復越界讀

llama.cpp 建置 b11763 為 OpenCL 後端補上多個面向小批次的 GEMM/GEMV 核心變體，並修復 mul_mv_mxfp4_f32_flat 的越界讀取。新增項包括 q4_k dp4a GEMM 的小批次變體、mul_mm_f16_f32_l4_lm 的窄化變體，以及大 M 時 gemv_noshuffle_q1_0_f32 的單 subgroup 變體，並按 workgroup 大小限制 q4_0 mc3 的 subgroup 數量。

地端推論開源 OpenCL GEMM Adreno llama.cpp 本地推理

llama.cpp releases● 精選10/7 10:43AI 評分68

llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍

llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。

地端推論開源 llama.cpp GLM SYCL Flash Attention Intel Arc

llama.cpp releases10/22 19:41AI 評分41

llama.cpp 為 OpenCL 後端加入 Adreno 深度卷積

llama.cpp 建置 b11827 在 OpenCL 後端新增 depthwise conv2d（深度卷積）支援，並針對 Adreno GPU 做了適配，可讓部分卷積類模型在驍龍 Adreno GPU 上以 OpenCL 加速執行。該改動還提到改用本地 program、引數改用有符號型別，貢獻者來自高通。

地端推論開源 llama.cpp OpenCL depthwise conv2d Adreno 版本更新

llama.cpp releases10/24 14:38AI 評分45

llama.cpp Vulkan 後端支援 ggml src1 精度並調整累加器精度選擇

llama.cpp 建置 b11854 為 Vulkan 後端加入 ggml src1 精度支援，並更新累加器精度選擇邏輯。改動通過縮放處理 fp32 溢位，並修復 copy-to-fp16 啟用中的溢位問題；同時補充 ggml 精度查詢輔助函式、在 mul_mat 中增加檢查與測試，並統一命名為 acc_prec。此次建置仍覆蓋 macOS、Linux、Windows、Android 的 Vulkan、CUDA、ROCm、SYCL、OpenVINO 等後端二進位制。

地端推論開源 llama.cpp Vulkan ggml 精度溢位處理

llama.cpp releases10/25 13:33AI 評分42

llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer

llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援，並對兩者做了最佳化，還重構了 tiled topk kernel。這批改動隨建置 b11874 發布，覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。

地端推論開源 llama.cpp OpenCL topk lightning indexer 版本更新

llama.cpp releases10/19 20:02AI 評分42

llama.cpp 的 OpenCL 後端新增 i32 GET_ROWS 與 i32/f32 複製支援

llama.cpp 建置 b11740 為 OpenCL 後端加入了 i32 型別的 GET_ROWS 行讀取，以及 i32 與 f32 之間的複製轉換（PR #30756）。這一版同時發布了 macOS（Apple Silicon/Intel）、iOS、Android、Windows、Linux 的預編譯包，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 OpenCL llama.cpp 後端最佳化版本發布

llama.cpp releases10/25 12:27AI 評分56

llama.cpp 為 OpenCL 後端加入 Q2_K 量化支援

llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援，重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel，並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優，高通工程師參與共同提交。

開發工具地端推論 llama.cpp OpenCL q2_k 量化 Adreno

llama.cpp releases10/11 19:17AI 評分45

llama.cpp b11559：OpenCL 後端為 Gemma-4 E2B/E4B 開啟 GPU 解碼

llama.cpp 建置 b11559 為 Gemma-4 啟用 E4B 的 GPU 解碼，並把該支援擴充套件到 E2B，OpenCL 後端不再只覆蓋部分型號。該版本還允許 Gemma-4 使用 DK512，最佳化 DK64 GQA8 與 DK128 GQA4 解碼，並改進 flash attention。

地端推論開源 llama.cpp OpenCL Gemma-4 GPU 推理 Qualcomm

llama.cpp releases● 精選10/3 11:54AI 評分70

llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能

ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。

地端推論開發工具 OpenVINO llama.cpp MoE Qwen3.5 推理最佳化

llama.cpp releases10/8 08:51AI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。

地端推論開源 llama.cpp SYCL MoE GEMM 本地推理

llama.cpp releases10/16 09:43AI 評分41

llama.cpp 建置 b11687：重構 ggml-cpu s309x repack 輔助函式

llama.cpp 發布建置 b11687，核心改動是重構 ggml-cpu 的 s309x repack 輔助函式（PR #30588）。同批預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp ggml s390x CPU 最佳化版本發布

llama.cpp releases10/26 14:18AI 評分43

llama.cpp 將 ggml-cpu 的 concat 重寫為單一 row kernel，覆蓋全部型別

llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel，所有型別共用一套實現，量化型別也包含在內：稠密源行只需一次 memcpy，轉置源則按元素逐個複製，元素大小在編譯期已知。行不再只沿 i2 維度切分（該維度常為 1），而是按 32 行一組分塊分給多執行緒；遇到轉置源時在外層迴圈遍歷元素，讓同一 tile 的各行讀取相鄰地址。

地端推論開源 llama.cpp ggml CPU kernel concat 本地推理

llama.cpp releases10/19 13:39AI 評分45

llama.cpp b11731 為 ggml-cpu 向量化 SiLU 與 expf

llama.cpp 發布 b11731，ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化，提交者為 IBM 的 Aaron Teo，可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物，覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。

地端推論開源 llama.cpp ggml 本地推理 CPU 最佳化版本更新

llama.cpp releases10/17 00:25AI 評分45

llama.cpp 為 Adreno X1 新增 MxFP4 MoE 核心

llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel（gemm_moe_mxfp4_q8_1_dp4a_ila_ldck），並在 X1E 上啟用 dp4a clc，用於加速驍龍裝置上的 MoE 模型推理。

地端推論開源 OpenCL Adreno X1 MxFP4 MoE 本地推理

llama.cpp releases10/7 11:11AI 評分42

llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題

llama.cpp 合併 PR #29071，修復 SYCL 後端在 Flash Attention（FA）中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp，提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中，此版本同時提供 Ubuntu x64（SYCL FP32、FP16）與 Windows x64（SYCL）等建置。

地端推論開源 llama.cpp SYCL Flash Attention GPU 推理版本更新

llama.cpp releases10/9 02:57AI 評分43

llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 llama.cpp SYCL 本地推理版本發布

llama.cpp releases10/10 08:05AI 評分43

llama.cpp 為 OpenCL 後端新增兩個 MoE dp4a 矩陣乘核心

llama.cpp 建置版本 b11541 在 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心：kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin，分別處理 Q4_K、Q6_K 量化權重搭配 Q8_1 啟用的乘法，並用 dp4a 整數點積指令加速。這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。

地端推論開源 llama.cpp OpenCL MoE DP4A 量化核心

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/22 01:30AI 評分41

llama.cpp b11804 為 OpenCL 後端補上 ARGMAX 運算元

llama.cpp 發布 b11804 建置，為 OpenCL 後端新增 F32→I32 的 ARGMAX 運算元（#30897），並把 OpenCL 初始化改為置 0，與 CPU 後端保持一致。該提交有高通工程師參與協助。同版本預編譯包覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp OpenCL ARGMAX 建置發布 Snapdragon

llama.cpp releases10/9 17:45AI 評分43

llama.cpp 修復 Adreno A6x 的 OpenCL 核心編譯崩潰並支援 623

llama.cpp 建置 b11533 修復了 Adreno A6x GPU 上的 OpenCL 核心編譯崩潰，並把 Adreno 623 加入 A6X 檢測列表。具體做法是在 A6X 上跳過 kernel_cpy_f32_f32_pack——A623 的編譯器後端（E031.50.31.01）無法處理引數過多的核心；GEMV 核心裡的 get_local_size 也加了常量摺疊變通方案。

地端推論開源 OpenCL Adreno GPU 推理 llama.cpp 版本建置

llama.cpp releases10/23 13:39AI 評分42

llama.cpp 修復 ggml_time_us 時間溢位，改用 double

llama.cpp 建置 b11838 修復了 ggml_time_us 的時間溢位問題，實現上改用 double（#30969）。該版本同時提供 macOS/iOS、Linux、Android、Windows 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置與 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp ggml 時間溢位 double 版本發布

llama.cpp releases10/12 06:41AI 評分40

llama.cpp 更新：ggml 符號預設改為 hidden

llama.cpp 發布 b11563 建置，其中 ggml 把符號預設可見性改為 hidden，避免一批內部符號通過 GGML_API 洩漏（#30014，討論見 #29997）。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp ggml 符號可見性版本發布本地推理

llama.cpp releases10/15 03:24AI 評分53

llama.cpp 新增 GDN chunked kernel，RTX 3090/4090 開啟 MMA

llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel（自 tetherto#257 移植）。在 RTX 3090（SM86）與 RTX 4090（SM89）通過正確性和 prefill 基準測試後，CUDA 側啟用 GDN MMA，其他未測試架構繼續沿用原有 fallback；ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。

地端推論開源 llama.cpp GDN CUDA HIP Codex

llama.cpp releases10/14 18:47AI 評分45

llama.cpp 修復 Adreno OpenCL 的 q8_0 dp4a MoE 計算錯誤

llama.cpp 建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法（MUL_MAT_ID）與 GEMM 的最小值處理錯誤，避免量化 MoE 模型在 GPU 上算出錯誤結果。同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID，不再走不支援的精度路徑。

地端推論開源 llama.cpp OpenCL Adreno q8_0 MoE

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/27 08:53AI 評分43

llama.cpp：ggml SCALE 支援非連續檢視

llama.cpp 新建置 b11923 放寬了 ggml SCALE 運算元的輸入要求：此前 src0 必須一維連續，現在只需 dim-0 連續、允許任意行步長，與 Metal 後端一元運算元的行為一致。CPU（f32、bf16 按位元組步長定址行）、CUDA（步長感知核心，用 fastdiv 做行分解）與 Metal（新增 bf16 scale）均已適配，SYCL 仍限定連續輸入。test_scale 增加了 view 變體測試，已在 CPU、Metal、CUDA 上驗證；

地端推論開源 ggml SCALE 非連續檢視多後端支援 b11923