搜尋

依意思最接近的 30 筆

llama.cpp releases11/2 11:35AI 評分38

llama.cpp 修復 clang-cl 下 AVX512 BF16 編譯問題

llama.cpp 發布 b12038 版本，ggml 修復了 clang-cl 配合 AVX512 BF16 時的編譯錯誤：只在條件滿足時引入 immintrin.h，併為 clang-cl 補上顯式向量轉換。

地端推論開源 llama.cpp ggml clang-cl AVX512 BF16 建置修復

llama.cpp releases10/11 13:13AI 評分43

llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題

llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；

開源地端推論 llama.cpp AVX2 F16C CPU 推理版本發布

llama.cpp releases10/4 20:07AI 評分45

llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化

llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。

地端推論開發工具 llama.cpp tinyBLAS BF16 CPU 推理 SIMD 向量化

llama.cpp releases10/15 12:00AI 評分45

llama.cpp Metal 後端新增 BF16 張量 flash attention 核心

llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。

地端推論開源 llama.cpp Metal Flash Attention BF16 Apple Silicon

llama.cpp releases10/6 20:36AI 評分47

llama.cpp CUDA 後端為 XIELU 啟用函式補上 BF16 支援

llama.cpp 的 CUDA 後端為 XIELU 啟用函式補上 BF16 支援，此前這條路徑只支援 F32 與 F16。XIELU 的 CUDA kernel 模板本身已對元素型別泛型化，這次只是在 launcher 里加上 nv_bfloat16 分支，並移除 ggml-cuda.cu 中拒絕 BF16+XIELU 的臨時 gate。

地端推論開源 llama.cpp CUDA BF16 XIELU 本地推理

llama.cpp releases10/16 10:06AI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp AVX2 CPU 推理最佳化預編譯建置 b11688

llama.cpp releases10/4 00:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases● 精選10/3 00:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/5 05:24AI 評分42

llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法

llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。

地端推論開源 llama.cpp CUDA MMVF mul_mat kernel

llama.cpp releases● 精選10/7 14:59AI 評分62

llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別

llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。

地端推論開源 llama.cpp Metal MMA 量化 M3 Ultra

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/24 02:22AI 評分39

llama.cpp 修復 RDNA3/RDNA4 上 HIP bf16 WMMA 編譯失敗

llama.cpp 修復了 HIP 後端在 AMD RDNA3（gfx1150/1151）與 RDNA4（gfx1200/1201）上 bf16 WMMA 的編譯失敗。原因是 __builtin_amdgcn_wmma_f32_16x16x16_bf16_w32 等內建要求 A/B 運算元為 short 向量而非 __bf16，原先按 __bf16 宣告分片會直接報錯。

地端推論開源 llama.cpp HIP ROCm bf16 gfx11/gfx12

llama.cpp releases10/20 22:18AI 評分37

llama.cpp 修復 ARM NEON fp32→fp16 未走硬體指令

llama.cpp 建置 b11761 修復了 ARM NEON 分支只選中 fp16→fp32、漏掉 fp32→fp16 的問題：此前該方向一直靜默回退到軟體實現，已定義的 fcvt 硬體指令無人呼叫。補丁讓該分支同時選中兩個方向，並加入 #error，任何定義了 COMPUTE 宏卻未選中對應實現的平台分支會直接編譯失敗。fp16→fp32 方向按 PR 30343 仍刻意走查表，因此保留 !defined(F16C) 例外；

地端推論開源 llama.cpp ggml NEON ARM fp16

llama.cpp releases10/12 14:51AI 評分45

llama.cpp b11573：Vulkan 後端用打包 FMA 替代點積運算元做 f16 累加

llama.cpp 發布 b11573 建置，Vulkan 後端改用打包 FMA 做 f16 累加，不再使用獨立的點積運算元。新的 dot_product 實現每次 f16 FMA 打包兩行，並更名為 dot_product_v2。該版本照例提供各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、SYCL、OpenVINO、Vulkan，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Vulkan f16 FMA dot_product

llama.cpp releases10/15 12:25AI 評分42

llama.cpp Vulkan 為 AMD 最佳化 f16/bf16 KV 複製

llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製：先把 KV 一次性拷到 scratch，使跨記憶體通道的讀取分散，而不是集中在少數通道上。改動刪掉了專用的反量化 shader，改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy，不需要 dequant；複製按源記憶體順序描述，讓跨步訪問落在順序寫入端。

地端推論開源 llama.cpp Vulkan KV cache AMD 本地推理

NVIDIA blog10/21 10:45AI 評分62

Google Cloud 宣布 Vera Rubin A5X 例項下月正式可用

Google Cloud 與 NVIDIA 宣布 Vera Rubin 基礎設施正式可用，A5X 例項將於下月上線，並計劃擴充套件至歐洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Virgo 網路與第四代液冷，面向大規模 agentic 推理與強化學習，Google Cloud 計劃在多個站點部署最多 96 萬塊 Rubin GPU。

產品與方案商業 NVIDIA Vera Rubin Google Cloud A5X AI 基礎設施機密計算

llama.cpp releases10/15 04:01AI 評分42

llama.cpp 回退 x86 上 FP16→FP32 的 F16C 最佳化，修復量化核心效能回退

llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。

地端推論開源 llama.cpp ggml F16C CPU 最佳化效能迴歸

llama.cpp releases10/22 07:52AI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FP16 FP32 版本發布

llama.cpp releases10/13 03:33AI 評分45

llama.cpp Hexagon 後端為二進位制運算元擴充套件標量 DMA 廣播支援

llama.cpp 發布 b11580 建置，Hexagon 後端為二進位制運算元擴充套件了標量 DMA 廣播支援，並刪除全部非 DMA 路徑，同時新增對非連續 stride 的處理。REPEAT 與 COMPLEX 核心這次也改用 DMA，hex-add-id 為 src2 索引加法補上 DMA；hex-geglu-erf 新增僅 F32 的門控，該運算元不支援 F16。

地端推論開源 llama.cpp Hexagon NPU DMA 推理加速 OpenCode

llama.cpp releases● 精選10/29 08:12AI 評分63

llama.cpp 的 OpenCL 後端新增 IQ2 系列量化，並針對 Adreno GPU 最佳化

llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化（iq2_s、iq2_xs、iq2_xxs）的支援，並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑，並最佳化了 Adreno 上的 decode 與窄批次場景。

地端推論開源 llama.cpp OpenCL IQ2 量化 Adreno GPU

llama.cpp releases10/9 09:29AI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Metal Flash Attention 建置發布

llama.cpp releases10/15 06:30AI 評分42

llama.cpp b11640：Vulkan 矩陣乘法改用 L2 友好排程

llama.cpp 發布 b11640，Vulkan 後端針對 cm2 mulmat 的矩陣乘法改用對 L2 快取更友好的 workgroup 排程（#30215）。同一版本把 macOS Apple Silicon 的 KleidiAI 建置標記為 DISABLED，並重新整理各平台預編譯包：Ubuntu 與 Windows x64 新增 ROCm 10.0，CUDA 13 建置對應 CUDA 13.4 庫。

地端推論開源 llama.cpp Vulkan 建置發布本地推理效能最佳化

量子位● 精選10/28 10:32AI 評分67

逐際動力 FluxVLA Engine 發布 V2 技術報告，推理最高提速 9.64 倍

逐際動力更新開源具身工程底座 FluxVLA Engine 的第二版技術報告，新增線上強化學習後訓練，並擴充套件了模擬與真機評測覆蓋。經底層推理重構後，8 組模型與裝置組合的推理頻率提升 2.31–9.64 倍，其中 A100 上 π0.5 從 2.20Hz 升至 21.2Hz。SmolVLA 經線上 RL 後，LIBERO-10 與 RoboTwin Clean 成功率分別提升 10.0 和 15.4 個百分點。

產品與方案開發工具 FluxVLA Engine 具身智慧 VLA 線上強化學習真機部署

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/13 22:22AI 評分44

llama.cpp 為 KleidiAI 加入 SME2 Q4_K/Q6_K 矩陣乘支援

llama.cpp 發布建置 b11604，為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援，補丁編號 #29219，提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件，這項改動面向支援該指令集的 Arm CPU，用於加速這兩種常用量化格式的矩陣乘法。同一版本中，macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED，openEuler 也有一項標註 DISABLED；

地端推論開源 llama.cpp KleidiAI SME2 ARM 量化

Hacker News front page10/3 17:23AI 評分68

Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言

Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。

開發工具地端推論 Vx 系統程式語言異構計算型別系統 MLIR

llama.cpp releases10/8 08:51AI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。

地端推論開源 llama.cpp SYCL MoE GEMM 本地推理

llama.cpp releases10/9 17:45AI 評分43

llama.cpp 修復 Adreno A6x 的 OpenCL 核心編譯崩潰並支援 623

llama.cpp 建置 b11533 修復了 Adreno A6x GPU 上的 OpenCL 核心編譯崩潰，並把 Adreno 623 加入 A6X 檢測列表。具體做法是在 A6X 上跳過 kernel_cpy_f32_f32_pack——A623 的編譯器後端（E031.50.31.01）無法處理引數過多的核心；GEMV 核心裡的 get_local_size 也加了常量摺疊變通方案。

地端推論開源 OpenCL Adreno GPU 推理 llama.cpp 版本建置

llama.cpp releases10/29 06:48AI 評分58

llama.cpp SYCL 反量化改用向量儲存，MXFP4 MoE 預填充最高提速 61%

llama.cpp 的 SYCL 後端把多種量化格式的反量化寫回改為向量化儲存，MXFP4 MoE 20B 模型預填充提升 57%（pp2048）到 61%（pp512）。改動覆蓋 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K、Q2_K、IQ3_XXS/IQ3_S 與 MXFP4，在 Arc Pro B70 上，重排佈局後的預填充分別提升約 6%–29%，其中 Q6_K 為 28.7%、IQ3 約 20%–21%。

地端推論開源 llama.cpp SYCL 反量化向量化效能最佳化

llama.cpp releases10/14 06:10AI 評分43

b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)

llama.cpp 的 HIP 後端把 64 行/128 執行緒的 MMQ tile 擴充套件到更多量化型別與 J 值組合，覆蓋 RDNA3.5（gfx115x）；此前該配置只在 J≤32 時使用，更大的 tile 會佔滿 LDS，無法讓每個 CU 再容納一個工作組。在 gfx1151 上對 100 個 MUL_MAT 形狀做三輪測試，中位提升 2.1%、最佳 26.0%，5 個 MUL_MAT_ID 形狀中位提升 8.0%。J=96 因未獲益被明確排除，其餘條目保持不變。

地端推論開源 llama.cpp HIP RDNA3.5 MMQ 量化

Hacker News front page10/6 16:23AI 評分73

AI 設計的開源加速卡 openTPU 跑通十餘款模型

一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。

開源地端推論 openTPU 開源硬體 FPGA AI 加速器本地推理

llama.cpp releases10/2 23:18AI 評分31

llama.cpp 在 32KB 共享記憶體的三星 GPU 上停用大矩陣乘分塊

llama.cpp 合併 PR #28531，在共享記憶體為 32KB 的三星 GPU 上停用 Vulkan 後端的大矩陣乘分塊（large matmul tile），以規避該硬體配置下的問題。該改動由 Claude Opus 輔助完成，並附有建置證明連結。

地端推論開源 llama.cpp Vulkan Samsung GPU 本地推理版本發布