AISpot
所屬事件:llama.cpp 放寬 ggml SCALE 檢視限制並修復 OpenVINO 崩潰(1 個來源 · 2 則報導)

10 月 27 日,llama.cpp 發布建置 b11923,放寬 ggml SCALE 運算元的輸入要求:此前 src0 必須一維連續,現在只要求 dim-0 連續、允許任意行步長,與 Metal 後端一元運算元的行為一致。CPU(f32、bf16 按位元組步長定址行)、CUDA(步長感知核心,用 fastdiv… 看完整事件

llama.cpp 修復 OpenVINO 後端 SCALE 步幅檢視崩潰

llama.cpp releases版本更新地端推論開源

llama.cpp 合入 ggml-openvino 補丁,修復 SCALE 運算對非連續步幅檢視輸入的處理:此前 translate_scale 直接使用原始輸入,動態路徑下檢視被展開為整個源張量,導致輸出尺寸錯誤並在回拷時越界,使 test-backend-ops 的 SCALE 檢視用例崩潰。修復方式是按其他轉換器的做法用 process_view_input_new 切片輸入,同時對非連續檢視上的原地 SCALE 直接拒絕。

原標題:b11977
閱讀原文

同一事件共有 2 則報導(1 個來源),看事件全貌

評分40 / 22(平均 31,門檻 60)
狀態未入選

原文

ggml-openvino: slice view inputs of SCALE ( #31334 ) SCALE now accepts a src0 view with arbitrary row strides. translate_scale used the raw input, and on the dynamic path a VIEW translates to its whole source tensor, so a strided view input scaled the entire source. The model output then had the source's size, and copying it back overran the result buffer, which crashes test-backend-ops on the SCALE view cases. Slice the input with process_view_input_new, as the other translators do. Reject an in-place SCALE on a non-contiguous view: its result is copied back densely and would land in the wrong elements. Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/61135487 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu 26.04 s390x (CPU) Ubuntu 26.04 s390x (zDNN) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分46

llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤

ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。

llama.cpp releasesAI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;

llama.cpp releasesAI 評分43

llama.cpp 修復 ggml conv_1d 批次輸入轉置錯誤

llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行,結果在記憶體中是 [OL, N, OC],reshape 卻宣告為 [OL, OC, N],形狀正確但內容被轉置,因此不報錯、通道與批次交錯;N==1 時兩種讀法等價,倉庫裡三個 vocoder 都沒觸發。