搜尋

找到 50 筆

llama.cpp releases10/4 18:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

llama.cpp releases10/4 15:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/6 19:34AI 評分45

llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

地端推論開源 llama.cpp CUDA BF16 FP16 cuBLAS

Claude blog10/5 01:00AI 評分50

Cresta 用 Claude Agent SDK 做出 agent 建置器 Conductor

Cresta 在 Claude Agent SDK 之上建置了 Conductor，一個自然語言 agent 建置器，幫助團隊把複雜業務上下文轉成可上線的客服 agent。其早期版本用 Claude Sonnet 和 Opus 搭建，之後把 Claude Agent SDK 當作通用 harness，讓 agent 自行收集上下文、呼叫工具、編寫並執行程式碼。據 Cresta 披露，在其與合作伙伴的早期用例中，Conductor 把初始部署時間縮短約一半；

開發工具產品與方案 Claude Agent SDK Claude Code Agent 建置器 Cresta 客戶體驗

llama.cpp releases● 精選10/5 17:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/3 14:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

X @ggerganov9/1 09:41AI 評分52

Llama Mac 應用新增 llama.cpp REST API 請求建置器

llama.cpp 作者 Georgi Gerganov 宣布，Mac 版 Llama 應用現已內建一個簡易的請求建置器，用於呼叫 llama.cpp 的 REST API。該功能面向在本地執行 llama.cpp 的使用者，可在圖形介面中直接構造併傳送 API 請求，無需手動編寫請求程式碼。

地端推論開發工具 llama.cpp REST API Mac

llama.cpp releases10/3 22:35AI 評分18

llama.cpp 修復 Windows 下 mtmd 的 strdup 棄用警告

llama.cpp 合併提交 #29863，修復 mtmd 在 Windows 上使用已棄用 strdup 函式產生的編譯警告，由 Hugging Face 的 Adrien Gallouët 提交。該提交隨新版本發布，覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台建置，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 部分建置被標記為 DISABLED。

地端推論開源 llama.cpp Windows 建置發布 strdup

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 06:02AI 評分36

llama.cpp 發布 b11459：ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459，唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL；

地端推論開源 llama.cpp ggml-webgpu WASI 建置跨平台

llama.cpp releases10/2 23:23AI 評分37

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

llama.cpp releases10/2 16:43AI 評分16

llama.cpp 為 Vulkan 後端加入管線編譯日誌

llama.cpp 合併 PR #29794，為 Vulkan 後端的管線編譯問題新增日誌輸出，便於定位著色器編譯失敗。該改動隨 b11349 版本發布，覆蓋 Ubuntu 與 Windows 的 x64 Vulkan 建置，同時該版本繼續提供 macOS Apple Silicon、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 等平台建置。

地端推論開源 llama.cpp Vulkan 版本發布建置產物本地推理

Anthropic Research● 精選9/29 01:00AI 評分85

GLM-5.3 可自主建置端到端漏洞利用，防護易被繞過

智譜 AI 的 GLM-5.3 具備自主建置端到端網路漏洞利用的能力，水平接近 Claude Mythos Preview：在 ExploitBench 的 410 次嘗試中成功 50 次，在內部二進位制利用基準中 4% 的試驗實現完整控制流劫持。該模型未設有效防護，模擬測試中攻擊者可用簡單技術繞過其防護的比例達 64% 至 100%，而受防護的 Claude 模型未被攻破。

政策與安全研究網路安全 GLM-5.3 護欄繞過開源權重 AI 安全

llama.cpp releases10/4 15:12AI 評分16

llama.cpp 發布 b11391 版本，CUDA 程式碼小幅調整

llama.cpp 發布 b11391 建置版本，唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置（PR #29939），由 Hugging Face 的 Adrien Gallouët 提交。

地端推論開源 llama.cpp CUDA 版本發布跨平台建置

llama.cpp releases10/6 14:27AI 評分42

llama.cpp b11443 合併各模型的 nextn 行裁剪邏輯

llama.cpp 發布 b11443 建置，其中提交 #30017 把各模型重複的 nextn 行裁剪邏輯合併為 llm_graph_context 上的 crop_before_nextn() 與 crop_after_nextn() 兩個共享 helper。

開源地端推論版本更新 llama.cpp nextn 推理最佳化建置發布

llama.cpp releases10/7 07:02AI 評分37

llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ

llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。

開發工具地端推論 llama.cpp SYCL IQ3_S MMVQ 版本發布

llama.cpp releases10/3 02:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/4 09:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/4 23:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

llama.cpp releases10/5 14:23AI 評分49

llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加

llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 CUDA NVFP4 量化效能最佳化 llama.cpp

llama.cpp releases10/6 22:09AI 評分41

llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流

llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp CUDA ROCm 本地推理版本更新

llama.cpp releases10/3 22:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases● 精選10/3 01:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/2 15:28AI 評分20

llama.cpp 更新為 Hexagon NPU 安裝重建的 HTP skels

llama.cpp 合併 PR #29828，為高通 Hexagon NPU 安裝重建的 HTP skels，並修復 HTP skel 目錄依賴。該改動面向在驍龍裝置上通過 Hexagon NPU 執行本地推理的使用者，涉及 Linux arm64 與 Android arm64 的 Snapdragon 建置。相關建置產物已隨本次發布提供，並附有 attestations 連結。

地端推論開源 llama.cpp Hexagon NPU HTP 本地推理版本發布

llama.cpp releases10/3 07:27AI 評分42

llama.cpp 發布 b11370，CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。

地端推論開源 llama.cpp CUDA MMVQ MoE 推理最佳化

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 10:37AI 評分27

llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵

llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…

地端推論開源 llama.cpp 版本更新本地推理 Hugging Face

llama.cpp releases10/4 11:03AI 評分29

llama.cpp 發布 b11386，為路徑轉換準備 load_from_models_dir()

llama.cpp 發布 b11386 版本，提交內容是為路徑轉換準備 load_from_models_dir()，屬於 fs::path 現代化系列的一部分，並藉此機會移除了 fs_list()。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置產物，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp 版本更新 fs::path 跨平台建置

llama.cpp releases10/6 19:16AI 評分40

llama.cpp b11447 發布：新增 pplx-decider 模型支援

llama.cpp 發布 b11447 建置版本，本次列出的功能變更是新增對 pplx-decider 模型的支援（PR #30044）。該版本一次性放出 macOS/iOS、Linux、Android、Windows、openEuler 五個平台的預編譯產物，計算後端覆蓋 CPU、CUDA 12.8 與 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL，以及驍龍平台的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp pplx-decider 本地推理跨平台建置版本發布

llama.cpp releases10/3 15:27AI 評分48

llama.cpp 修復 Ling 3.0 解析器忽略 json_schema 的問題

llama.cpp 合併 PR #29813，讓 Ling 3.0 解析器開始遵循 inputs.json_schema。此前 Ling 3.0 只為工具呼叫建置語法，response_format 請求不受約束；新實現加入優先於工具的回應格式語法路徑，並在啟用思考時要求先輸出 think 塊、JSON 回應後不允許追加散文。該修復對應 issue #29652，隨新版建置覆蓋 macOS、Linux、Windows、Android 等平台。

開發工具地端推論 llama.cpp json_schema Ling 3.0 grammar response_format

llama.cpp releases10/4 13:56AI 評分37

llama.cpp 發布 b11390，修復 CUDA MMQ 記憶體錯誤

llama.cpp 發布建置版本 b11390，主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障（#29941）。

地端推論開源 llama.cpp CUDA MMQ 版本發布

llama.cpp releases10/6 20:32AI 評分43

llama.cpp 發布 b11451，修復 Adreno xmem GEMM 越界讀取

llama.cpp 發布 b11451 建置，主要變更是修復 OpenCL 後端在 Adreno GPU 上 xmem GEMM 的越界讀取（OOB read）問題，對應 PR #30041。

地端推論開源 llama.cpp OpenCL Adreno GEMM 越界讀取

llama.cpp releases10/3 16:02AI 評分31

llama.cpp 新增 common_is_tty() 並修復 Windows 棄用警告

llama.cpp 合併 PR #29860，新增 common_is_tty() 輔助函式並修復 Windows 上的棄用警告，由 Hugging Face 的 Adrien Gallouët 提交。

地端推論開源 llama.cpp 版本更新跨平台建置 Windows

1 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選10/5 15:05AI 評分66

llama.cpp b11418：server 支援 Clef 視覺輸入

llama.cpp 發布建置 b11418，其 server 新增對 Clef 的視覺輸入支援（PR #29969），並修復影像 token 上限、abort 與 yield_to_queue 資料變更等問題。

開發工具地端推論 llama.cpp Clef 視覺輸入本地推理版本發布

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/6 11:05AI 評分33

llama.cpp 發布 b11438，動態後端需顯式載入

llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。

地端推論開源 llama.cpp 本地推理 GGML 跨平台建置版本發布

llama.cpp releases10/5 12:46AI 評分36

llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…

llama.cpp 發布建置 b11414，本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題（PR #29591），提交標註 Assisted-by: Claude。

地端推論開源 llama.cpp Vulkan flash attention b11414 推理

llama.cpp releases10/5 08:34AI 評分56

llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心

llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。

地端推論開源 llama.cpp Q8_0 IME1 SpacemiT X60 RISC-V

llama.cpp releases10/2 14:52AI 評分17

llama.cpp 發布 b11346 版本，修復 qwen4exp 測試

llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

Mistral AI news● 精選6/4 01:00AI 評分71

Mistral 發布企業級程式設計助手 Mistral Code，開放私有測試

Mistral AI 於 6 月 4 日發布企業級 AI 程式設計助手 Mistral Code，基於開源專案 Continue 建置，現已面向 JetBrains IDE 和 VSCode 開放私有測試，正式版即將推出。

產品與方案開發工具 Mistral Code 程式設計助手企業級本地部署 Continue

X @ggerganov● 精選10/2 15:33AI 評分80

llama.cpp 新增 Decision 模型支援

llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。

地端推論開發工具 llama.cpp 本地推理 SystemOne 開源模型

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 01:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases10/3 09:36AI 評分43

llama.cpp 新增 clef 決策模型純文字支援

llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。

地端推論開源 llama.cpp GGUF clef 本地推理

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 17:25AI 評分40

llama.cpp 修復 chat-peg-parser 釋放後使用漏洞

llama.cpp 合併 PR #29942，修復 chat-peg-parser 中 pending_tool_call 重置時未清空 current_tool 指標導致的 use-after-free 與 id 緩衝區二次釋放。該問題在 TOOL_CLOSE 之後收到 TOOL_ID 節點時觸發，修復方式是在重置時清除指標。

地端推論開源 llama.cpp use-after-free chat-peg-parser 建置發布

X @claudeai10/6 21:50AI 評分12

@claudeai: Watch the full conversation with @danshipper and Willie Williams on how they built it:

Claude 官方帳號在 X 上放出與 Dan Shipper、Willie Williams 的對談完整影片，主題是兩人如何把它做出來。推文字身未說明具體產品、時長或內容細節，僅給出 YouTube 連結。發布時間為 2026 年 10 月 6 日。

產品與方案開發工具 Claude Dan Shipper Willie Williams 對話影片建置案例

llama.cpp releases10/5 06:24AI 評分42

llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法

llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。

地端推論開源 llama.cpp CUDA MMVF mul_mat kernel

llama.cpp releases10/4 20:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/3 00:18AI 評分31

llama.cpp 在 32KB 共享記憶體的三星 GPU 上停用大矩陣乘分塊

llama.cpp 合併 PR #28531，在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊（large matmul tile），以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成，並附有建置證明連結。

地端推論開源 llama.cpp Vulkan Samsung GPU 本地推理版本發布

llama.cpp releases10/4 13:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

地端推論開源 llama.cpp Vulkan RDNA4 版本更新

llama.cpp releases10/5 09:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

llama.cpp releases10/6 07:57AI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；

地端推論開源 llama.cpp OpenVINO 後端修復 GPU NPU

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/5 15:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

llama.cpp releases10/5 16:21AI 評分43

llama.cpp 發布 b11425：CUDA alloc_deps 檢查改為與 batch 無關

llama.cpp 發布 b11425 建置，主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關（PR #29986，修復 #29980）。該版本同時更新各平台預編譯產物，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64，以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp CUDA b11425 本地推理版本更新