AISpot

搜尋

找到 8 筆

llama.cpp releasesAI 評分41

llama.cpp 修復 ggml 檢視越界檢查,改按 stride 實際位元組

llama.cpp 發布 b12102,修復 ggml 檢視的越界檢查:此前用同形狀連續張量的大小校驗,導致行重疊但未越界的檢視被誤判、stride 過寬而越界的檢視反而通過;現在檢視函式把 stride 傳給張量建構函式,按實際到達的位元組數檢查。另新增斷言要求帶 stride 的檢視從 dim 0 連續元素開始,delta_net 的卷積視窗改為一次建立全部行,不再在檢查後擴寬。

llama.cpp releasesAI 評分46

llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤

ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。

llama.cpp releasesAI 評分42

llama.cpp 發布 b11370,CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370,主要變更是 CUDA 後端將共享專家(shared experts)融合進 MMVQ 運算元,並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置,其中 macOS Apple Silicon 的 KleidiAI 版本被停用,openEuler 建置也被停用。

llama.cpp releasesAI 評分45

llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

llama.cpp releasesAI 評分45

llama.cpp Hexagon 後端為二進位制運算元擴充套件標量 DMA 廣播支援

llama.cpp 發布 b11580 建置,Hexagon 後端為二進位制運算元擴充套件了標量 DMA 廣播支援,並刪除全部非 DMA 路徑,同時新增對非連續 stride 的處理。REPEAT 與 COMPLEX 核心這次也改用 DMA,hex-add-id 為 src2 索引加法補上 DMA;hex-geglu-erf 新增僅 F32 的門控,該運算元不支援 F16。

llama.cpp releasesAI 評分42

llama.cpp 的 Metal 後端新增融合 top-k mask 運算元

llama.cpp 建置 b11927 為 Metal 後端補上融合 top-k mask 運算元(GGML_OP_TOP_K_MASK),移植自 CUDA 後端已有實現。新核心先以 grid-stride 方式把輸出填為 -inf,再由每行一個 threadgroup 將保留單元的 mask 值覆蓋上去;並用函式常量裁掉特定計算圖用不到的 score、blocks 與額外分支,同時清理了核心格式。

llama.cpp releasesAI 評分37

llama.cpp 修復 Hexagon DMA 大步長傳輸截斷問題

llama.cpp 修復了 Hexagon NPU 後端 2D DMA 傳輸中步長被截斷的缺陷。在 v75 及以上硬體上,DMA 描述符只用 24 位存 row_size 和 stride;當步長達到 16MB 或更大時會被截斷,導致地址錯誤。修復後,這類情況改為逐行傳輸,並新增兩個源步長超過 16MB 的 CONT 測試。同版本還重構了 fallback 路徑,以去掉重複程式碼。