llama.cpp b11907 將 ggml_tensor** 輸出引數改為結構體返回

llama.cpp releases10/26 20:18版本更新地端推論開發工具

llama.cpp 發布 b11907 建置，把 hyper-connection 與 DSA 圖建置器原先通過 ggml_tensor** 輸出引數寫出的額外輸出（post/comb gates、保留的 top-k 選擇、inject gates）改為與主輸出一起放進一個小結構體返回。這是一次介面層面的改動，呼叫這些圖建置器的程式碼需要同步調整。

llama.cpp ggml 版本發布本地推理重構

原標題：b11907
閱讀原文

評分	35 / 40（平均 37，門檻 60）
狀態	未入選

原文

models : replace ggml_tensor** out-params with output structs ( #31142 ) The hyper-connection and DSA graph builders wrote their extra outputs (post / comb gates, carried top-k selections, inject gates) through ggml_tensor** out-params. Return them in a small struct next to the primary output instead. Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/60084920 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releases10/12 06:41AI 評分40

llama.cpp 更新：ggml 符號預設改為 hidden

llama.cpp 發布 b11563 建置，其中 ggml 把符號預設可見性改為 hidden，避免一批內部符號通過 GGML_API 洩漏（#30014，討論見 #29997）。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp ggml 符號可見性版本發布本地推理

閱讀原文

llama.cpp releases10/6 06:57AI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；

地端推論開源 llama.cpp OpenVINO 後端修復 GPU NPU

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/13 07:57AI 評分45

llama.cpp b11581 移除多餘的 ggml_cont 呼叫

llama.cpp 發布建置 b11581，主要改動是刪除模型實現中多餘的 ggml_cont 呼叫，官方稱所有 unary kernel 現在都已支援這種用法，CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next：在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性，並清理 dflash 的 cont。

地端推論開源 llama.cpp ggml Qwen3Next CUDA Vulkan

閱讀原文

llama.cpp releases10/15 00:36AI 評分43

llama.cpp 修復 ggml conv_1d 批次輸入轉置錯誤

llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行，結果在記憶體中是 [OL, N, OC]，reshape 卻宣告為 [OL, OC, N]，形狀正確但內容被轉置，因此不報錯、通道與批次交錯；N==1 時兩種讀法等價，倉庫裡三個 vocoder 都沒觸發。

地端推論開源 llama.cpp ggml conv_1d 批處理版本發布

閱讀原文

llama.cpp releases10/21 03:25AI 評分41