搜尋

依意思最接近的 5 筆

llama.cpp releases10/8 10:10AI 評分41

llama.cpp b11496：SYCL 模型載入改用 pinned ring buffer

llama.cpp 發布 b11496，SYCL 後端的模型載入（bulk uploads）改為通過 pinned ring buffer 分階段上傳（PR #29608），主要影響使用 Intel SYCL 後端的使用者。

地端推論開源 llama.cpp SYCL pinned ring buffer 本地推理模型載入

閱讀原文

llama.cpp releases10/5 04:35AI 評分37

llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程

llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。

地端推論開源 llama.cpp CUDA FlashAttention 版本更新本地推理

閱讀原文

llama.cpp releases● 精選10/7 10:43AI 評分68

llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍

llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。

地端推論開源 llama.cpp GLM SYCL Flash Attention Intel Arc

閱讀原文

llama.cpp releases● 精選10/3 00:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

閱讀原文

llama.cpp releases10/9 09:29AI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Metal Flash Attention 建置發布

閱讀原文