搜尋

找到 5 筆

llama.cpp releases11/5 07:12AI 評分35

llama.cpp b12124：OpenCL 後端支援非連續 sigmoid

llama.cpp 發布 b12124 建置，核心變更是 OpenCL 後端新增對非連續（non-contiguous）張量 sigmoid 的支援（#31687），由高通工程師參與提交。該版本仍是覆蓋 macOS/iOS、Linux、Android、Windows 的多平台建置，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 與 openEuler 昇騰等目標。

地端推論開源 llama.cpp OpenCL sigmoid 非連續張量版本發布

閱讀原文

llama.cpp releases10/18 18:08AI 評分40

llama.cpp CUDA 後端融合 Qwen4Exp 四段運算元鏈

llama.cpp 建置 b11721 在 CUDA 後端把 Qwen4Exp 的 SCALE → SIGMOID → SCALE → hc_post 鏈融合成單個 kernel，由四個 kernel 縮減為一個，程式碼移植自 Vulkan 的 HC_POST_GATE 融合（#29520）。實現上 dsv4_hc_post_f32 新增 gated 模板標誌，直接用原始權重計算 scale_out·sigmoid(scale_in·p)；

地端推論開源 llama.cpp CUDA Vulkan Qwen 核心融合

閱讀原文

llama.cpp releases10/13 07:57AI 評分45

llama.cpp b11581 移除多餘的 ggml_cont 呼叫

llama.cpp 發布建置 b11581，主要改動是刪除模型實現中多餘的 ggml_cont 呼叫，官方稱所有 unary kernel 現在都已支援這種用法，CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next：在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性，並清理 dflash 的 cont。

地端推論開源 llama.cpp ggml Qwen3Next CUDA Vulkan

閱讀原文

llama.cpp releases● 精選10/15 21:27AI 評分77

llama.cpp 新增 Muse Spark Open 多模態模型支援

llama.cpp 合併 PR #30616，新增 Muse Spark Open 模型支援，可處理文字、視覺與音訊三種輸入。該模型是 latent space MoE：殘差流保持 8192 維，256 個專家位於 4096 維，經上下投影連線，採用 top-8 sigmoid 路由與修正偏置，注意力為三層 2048 視窗滑窗加一層無 rope 的全域性層。

模型地端推論 Muse Spark Open llama.cpp MoE 多模態本地推理

9 個來源 · 13 則報導閱讀原文

llama.cpp releases10/8 04:19AI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；

地端推論開源 llama.cpp LiquidAI d1-omni-600M 多模態本地推理

2 個來源 · 2 則報導閱讀原文