搜尋

找到 50 筆

llama.cpp releases10/6 12:07AI 評分41

llama.cpp 修復 Vulkan 後端在 1.0 loader 上的空指標呼叫

llama.cpp 合併 PR #29872，在 Vulkan 後端初始化時檢查 vkEnumerateInstanceVersion 是否為空指標。Vulkan 1.0 的 loader（例如 Android 8.1）不提供該函式，此前會讓後端初始化直接呼叫空指標，現在這類 loader 被與所有低於 1.2 的 loader 同樣處理。該補丁修復 issue #29871，並隨本次建置的 macOS、Linux、Windows、Android 等多平台產物一同發布。

地端推論開源 llama.cpp Vulkan Android 8.1 空指標崩潰版本更新

The Verge AI10/5 19:09AI 評分51

Gemini 代打電話功能或擴充套件到親友，可代傳口信

Google 的 Call for Me 可能從商家通話擴充套件到給親友傳話：Android Authority 在 APK 拆解中發現「Gemini Calling」引導頁，範例包括「打電話給媽媽，說我晚到 15 分鐘」和「打電話問 John 是否來吃晚飯」。目前該功能主要用於商家通話，且從拆解看尚未正式公布。即便擴充套件，Gemini 預計也只做類似簡訊的簡短通話，用於給偏好電話或常漏看簡訊的人帶個口信，而不是自動化一整通閒聊電話。

產品與方案 Gemini Call for Me Gemini Calling Android Authority AI 通話

llama.cpp releases10/7 23:40AI 評分41

llama.cpp b11486 改進 Hexagon 後端 GELU 精度

llama.cpp 發布 b11486 建置，Hexagon 後端的 GELU 啟用函式精度得到改進（#30104）。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端，覆蓋 Linux arm64、Android arm64 與 Windows arm64。

地端推論開源 llama.cpp GELU Hexagon NPU OpenCode 本地推理

llama.cpp releases10/8 13:27AI 評分38

llama.cpp b11511 修復 CUDA MMQ 越界讀取

llama.cpp 發布建置 b11511，主要修復 CUDA 後端 MMQ 的越界讀取問題（#29953）。該版本照常提供 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端建置，覆蓋 Linux、Windows、Android 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。

地端推論開源 llama.cpp CUDA MMQ 本地推理

llama.cpp releases10/7 02:02AI 評分37

llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ

llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。

開發工具地端推論 llama.cpp SYCL IQ3_S MMVQ 版本發布

llama.cpp releases10/2 21:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/4 10:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/2 09:52AI 評分17

llama.cpp 發布 b11346 版本，修復 qwen4exp 測試

llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

llama.cpp releases10/4 04:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/8 09:00AI 評分37

llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL FWHT 版本更新本地推理

llama.cpp releases10/4 18:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

llama.cpp releases10/8 07:59AI 評分42

llama.cpp b11498 發布：修復 CUDA norm 核函式網格超限

llama.cpp 發布 b11498，修復 CUDA 後端 norm 系列核函式在 ne[2]/ne[3] 超過網格維度上限時的問題（PR #28175）。該版本建置產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等；

地端推論開源 llama.cpp CUDA 本地推理開源版本發布

llama.cpp releases10/7 06:13AI 評分35

llama.cpp 發布 b11462，含 SYCL fattn 緩衝區清理

llama.cpp 發布 b11462 建置，本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理（#27689）。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL 本地推理開源版本發布

llama.cpp releases10/3 20:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases10/3 11:54AI 評分20

llama.cpp 修復 server 因 n_batch 超限導致的 abort

llama.cpp 合併 PR #29903，通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題，對應 issue #29902。該修復由 Claude 輔助完成，並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台，包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。

地端推論開源 llama.cpp bug fix n_batch n_ubatch release

llama.cpp releases10/3 04:36AI 評分43

llama.cpp 新增 clef 決策模型純文字支援

llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。

地端推論開源 llama.cpp GGUF clef 本地推理

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 13:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

llama.cpp releases10/5 09:23AI 評分49

llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加

llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 CUDA NVFP4 量化效能最佳化 llama.cpp

llama.cpp releases10/4 15:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/7 09:02AI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp 本地推理 PLaMo FIM 版本更新

llama.cpp releases10/4 08:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

地端推論開源 llama.cpp Vulkan RDNA4 版本更新

llama.cpp releases10/5 04:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

llama.cpp releases10/3 17:35AI 評分18

llama.cpp 修復 Windows 下 mtmd 的 strdup 棄用警告

llama.cpp 合併提交 #29863，修復 mtmd 在 Windows 上使用已棄用 strdup 函式產生的編譯警告，由 Hugging Face 的 Adrien Gallouët 提交。該提交隨新版本發布，覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台建置，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 部分建置被標記為 DISABLED。

地端推論開源 llama.cpp Windows 建置發布 strdup

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 01:02AI 評分36

llama.cpp 發布 b11459：ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459，唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL；

地端推論開源 llama.cpp ggml-webgpu WASI 建置跨平台

llama.cpp releases10/5 10:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

llama.cpp releases10/6 17:09AI 評分41

llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流

llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp CUDA ROCm 本地推理版本更新

llama.cpp releases10/5 11:21AI 評分43

llama.cpp 發布 b11425：CUDA alloc_deps 檢查改為與 batch 無關

llama.cpp 發布 b11425 建置，主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關（PR #29986，修復 #29980）。該版本同時更新各平台預編譯產物，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64，以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp CUDA b11425 本地推理版本更新

llama.cpp releases10/3 17:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/2 18:23AI 評分37

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

llama.cpp releases● 精選10/5 12:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/4 16:07AI 評分45

llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化

llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。

地端推論開發工具 llama.cpp tinyBLAS BF16 CPU 推理 SIMD 向量化

llama.cpp releases● 精選10/2 20:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/7 08:28AI 評分35

llama.cpp 發布 b11468，cpp-httplib 升級至 0.60.0

llama.cpp 發布新建置 b11468，主要變更是將 cpp-httplib 升級到 0.60.0（#30081）。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物，後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與…

開源地端推論 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/5 03:41AI 評分42

llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援

llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。

地端推論開源 llama.cpp WebGPU MMVQ 量化 MXFP4

llama.cpp releases10/3 09:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

llama.cpp releases10/7 07:52AI 評分42

llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查

llama.cpp 發布 b11466，唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查（#28205）。該版本同步更新各平台預編譯包，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp WebGPU flash attention 本地推理版本發布

llama.cpp releases10/2 19:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 07:31AI 評分37

llama.cpp 發布 b11465，覆蓋 CUDA 13 與 ROCm 10.0 等平台

llama.cpp 發布建置版本 b11465，本次改動是「測試：在測試遞迴回滾時保留 anchor」（#29923）。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13（CUDA 13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp 版本更新本地推理建置發布

llama.cpp releases10/7 02:53AI 評分42

llama.cpp 發布 b11461，修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461，主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點（checkpoint）讀取過慢的問題，對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp Vulkan AMD iGPU 版本更新本地推理

llama.cpp releases10/8 04:51AI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。

地端推論開源 llama.cpp SYCL MoE GEMM 本地推理

llama.cpp releases● 精選10/8 11:31AI 評分69

llama.cpp b11507 支援 MoE 快取跨多 GPU

llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。

地端推論開源 llama.cpp MoE 多 GPU 本地推理版本更新

llama.cpp releases10/2 10:28AI 評分20

llama.cpp 更新為 Hexagon NPU 安裝重建的 HTP skels

llama.cpp 合併 PR #29828，為高通 Hexagon NPU 安裝重建的 HTP skels，並修復 HTP skel 目錄依賴。該改動面向在驍龍裝置上通過 Hexagon NPU 執行本地推理的使用者，涉及 Linux arm64 與 Android arm64 的 Snapdragon 建置。相關建置產物已隨本次發布提供，並附有 attestations 連結。

地端推論開源 llama.cpp Hexagon NPU HTP 本地推理版本發布

llama.cpp releases10/8 00:38AI 評分45

llama.cpp b11489 加速 Hexagon NPU 的 Q6_K 權重反量化

llama.cpp 發布 b11489，為 Hexagon NPU 的 Q6_K 權重反量化帶來加速，做法是再增加 2 倍迴圈展開，改動由 OpenCode 協助完成。該版本繼續提供 macOS/iOS、Linux、Android、Windows 多平台預編譯包，Snapdragon 版本可分別使用 CPU、Adreno GPU 與 Hexagon NPU，Windows arm64 另有 OpenCL Adreno 建置；

地端推論開源 llama.cpp Hexagon NPU Q6_K 效能最佳化版本發布

llama.cpp releases10/3 02:27AI 評分42

llama.cpp 發布 b11370，CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。

地端推論開源 llama.cpp CUDA MMVQ MoE 推理最佳化

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 05:37AI 評分27

llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵

llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…

地端推論開源 llama.cpp 版本更新本地推理 Hugging Face

X @elonmusk10/8 15:03AI 評分13

馬斯克稱 Grok 的 @Bot 手機端可用，已上架蘋果與安卓應用商店

馬斯克在 X 上表示 Grok 的 @Bot 在手機上執行良好，並稱從蘋果 App Store 或安卓應用商店下載 App 即可使用，帖中附上了 App Store 連結（應用 ID 6794501026）。原文沒有提到該 Bot 的具體功能、價格、額度或可用地區。

產品與方案 Grok Bot 手機應用 App Store Android

1 個來源 · 9 則報導閱讀原文

llama.cpp releases10/4 06:03AI 評分29

llama.cpp 發布 b11386，為路徑轉換準備 load_from_models_dir()

llama.cpp 發布 b11386 版本，提交內容是為路徑轉換準備 load_from_models_dir()，屬於 fs::path 現代化系列的一部分，並藉此機會移除了 fs_list()。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置產物，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp 版本更新 fs::path 跨平台建置

llama.cpp releases10/2 09:11AI 評分43

llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援

llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。

地端推論開源 llama.cpp Hexagon 量化 q2_k q3_k

llama.cpp releases10/7 23:56AI 評分41

llama.cpp 為 Hexagon NPU 支援 Q4_K/Q6_K tiled GET_ROWS

llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。

地端推論開源 llama.cpp Hexagon Q4_K Q6_K 本地推理

llama.cpp releases10/6 14:16AI 評分40

llama.cpp b11447 發布：新增 pplx-decider 模型支援

llama.cpp 發布 b11447 建置版本，本次列出的功能變更是新增對 pplx-decider 模型的支援（PR #30044）。該版本一次性放出 macOS/iOS、Linux、Android、Windows、openEuler 五個平台的預編譯產物，計算後端覆蓋 CPU、CUDA 12.8 與 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL，以及驍龍平台的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp pplx-decider 本地推理跨平台建置版本發布