搜尋

找到 16 筆

llama.cpp releases10/8 20:17AI 評分42

llama.cpp 發布 b11514 建置，修復 Musa FWHT 並停用 KleidiAI 版 macOS 包

llama.cpp 發布 b11514 滾動建置，主要修復 Musa 後端的 FWHT 問題（#30167）；同時 macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理 Musa FWHT 開源

閱讀原文

llama.cpp releases10/13 22:22AI 評分44

llama.cpp 為 KleidiAI 加入 SME2 Q4_K/Q6_K 矩陣乘支援

llama.cpp 發布建置 b11604，為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援，補丁編號 #29219，提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件，這項改動面向支援該指令集的 Arm CPU，用於加速這兩種常用量化格式的矩陣乘法。同一版本中，macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED，openEuler 也有一項標註 DISABLED；

地端推論開源 llama.cpp KleidiAI SME2 ARM 量化

閱讀原文

llama.cpp releases10/8 13:00AI 評分37

llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL FWHT 版本更新本地推理

閱讀原文

llama.cpp releases10/4 22:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

閱讀原文

llama.cpp releases10/4 17:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

閱讀原文

llama.cpp releases10/4 12:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

地端推論開源 llama.cpp Vulkan RDNA4 版本更新

閱讀原文

llama.cpp releases10/8 16:20AI 評分43

llama.cpp b11510 修復 CUDA PAD 核心 65535 行上限

llama.cpp 發布 b11510，CUDA 後端的 PAD kernel 改為迴圈處理，可支援超過 65535 行或切片的填充，解除此前的行數上限（#30147）。該版本同時更新各平台預編譯產物：macOS Apple Silicon 的 KleidiAI 建置仍標記 DISABLED，openEuler 建置也未啟用；

地端推論開源 llama.cpp CUDA 本地推理跨平台建置版本發布

閱讀原文

llama.cpp releases10/3 21:35AI 評分18

llama.cpp 修復 Windows 下 mtmd 的 strdup 棄用警告

llama.cpp 合併提交 #29863，修復 mtmd 在 Windows 上使用已棄用 strdup 函式產生的編譯警告，由 Hugging Face 的 Adrien Gallouët 提交。該提交隨新版本發布，覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台建置，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 部分建置被標記為 DISABLED。

地端推論開源 llama.cpp Windows 建置發布 strdup

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/2 22:23AI 評分37

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

閱讀原文

llama.cpp releases10/9 11:00AI 評分38

llama.cpp b11523 修復 WebGPU 混合批處理崩潰

llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元，修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU，導致繫結 CPU 緩衝後崩潰；現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。

地端推論開源 llama.cpp WebGPU GGML_OP_DUP DUP CI

閱讀原文

llama.cpp releases10/3 13:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

閱讀原文

llama.cpp releases10/12 09:19AI 評分43

llama.cpp 發布 b11565：SYCL 後端 DMMV 行尾讀取加保護

llama.cpp 發布 b11565 建置，主要改動是為 SYCL 後端的 DMMV 在行尾加上讀取保護，修復越界讀取（PR #29338）。這批預編譯產物同時更新了平台矩陣：macOS Apple Silicon 啟用 KleidiAI 的版本與 openEuler 兩項被標記為 DISABLED；macOS 與 iOS 另提供 Intel x64 與 XCFramework 產物；

地端推論開源 llama.cpp SYCL 版本發布本地推理建置產物

閱讀原文

llama.cpp releases10/9 22:41AI 評分37

llama.cpp b11539 應用上游深層巢狀 JSON 補丁

llama.cpp 發布 b11539 建置，唯一程式碼改動是應用來自上游的深層巢狀 JSON 補丁（#30253）。各平台預編譯包照常提供，覆蓋 macOS/iOS、Ubuntu（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android、Windows 以及 openEuler。其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置本次被標記為 DISABLED。

地端推論開源 llama.cpp 版本更新本地推理建置產物

閱讀原文

llama.cpp releases10/3 06:27AI 評分42

llama.cpp 發布 b11370，CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。

地端推論開源 llama.cpp CUDA MMVQ MoE 推理最佳化

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 09:37AI 評分27

llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵

llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…

地端推論開源 llama.cpp 版本更新本地推理 Hugging Face

閱讀原文

llama.cpp releases10/13 09:37AI 評分41

llama.cpp b11583：無快取路徑避免記憶體重複分配

llama.cpp 發布 b11583，主要改動是在「no cache」路徑下避免圖記憶體的重複分配（#30439），即不使用 prompt 快取時可減少反覆申請與釋放視訊記憶體/記憶體。該版本照例提供 macOS、Linux、Windows、Android 等平台的預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置和 openEuler 建置本次標記為 DISABLED。

地端推論開源 llama.cpp 本地推理版本發布 graph no cache path

閱讀原文