llama.cpp:ggml SCALE 支援非連續檢視
llama.cpp 新建置 b11923 放寬了 ggml SCALE 運算元的輸入要求:此前 src0 必須一維連續,現在只需 dim-0 連續、允許任意行步長,與 Metal 後端一元運算元的行為一致。CPU(f32、bf16 按位元組步長定址行)、CUDA(步長感知核心,用 fastdiv 做行分解)與 Metal(新增 bf16 scale)均已適配,SYCL 仍限定連續輸入。test_scale 增加了 view 變體測試,已在 CPU、Metal、CUDA 上驗證;
原標題:b11923
閱讀原文
| 評分 | 45 / 42(平均 43,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。
llama.cpp b11720:ggml 非連續 SUM 支援 CPU/CUDA/Vulkan/WebGPU
llama.cpp 發布 b11720,ggml 的 SUM 運算新增非連續(non-contiguous)張量檢視支援,覆蓋 CPU、CUDA、Vulkan 與 WebGPU 四種後端,並補充了非連續檢視的測試用例。
llama.cpp b11581 移除多餘的 ggml_cont 呼叫
llama.cpp 發布建置 b11581,主要改動是刪除模型實現中多餘的 ggml_cont 呼叫,官方稱所有 unary kernel 現在都已支援這種用法,CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next:在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性,並清理 dflash 的 cont。
llama.cpp Metal 後端移除 MoE mul_mm_id 的 amax 重縮放
llama.cpp 建置 b11866 在 Metal 後端移除了 kernel_mul_mm_id 中對 src1 的二次冪重縮放。這項縮放已經被計算圖中按 expert-token 執行的 amax 縮放(#30861)取代,後者能在運算元執行之前把 MoE 下投影啟用維持在 f16 範圍內。
llama.cpp b11499 發布,CUDA 的 ROLL 運算支援非連續張量
llama.cpp 發布 b11499 建置,CUDA 後端改用位元組步長實現 roll,使 ROLL 運算可以作用於非連續張量(#29547)。該版本照例提供各平台預編譯產物:macOS Apple Silicon 與 Intel、iOS XCFramework,以及 Linux、Windows、Android 的 CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL 建置,其中 CUDA 12 與 13 分別打包 12.8、1…