llama.cpp 為 IBM Z 的 ggml-zdnn 後端加入 flash attention
llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元(fattn),並去掉原有的 scratch slots,改用 scratch buffer pool 統一管理臨時緩衝,文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台,本次改動隻影響使用 zDNN 加速的建置。
依意思最接近的 29 筆
llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元(fattn),並去掉原有的 scratch slots,改用 scratch buffer pool 統一管理臨時緩衝,文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台,本次改動隻影響使用 zDNN 加速的建置。
llama.cpp 建置 b11582 引入 ggml-zdnn 的 Q8_0 矩陣乘法原型,由 IBM 的 Aaron Teo 提交,並同步更新了 zdnn 文件。zdnn 面向 IBM Z(s390x)平台,目前這一支援仍屬初步原型。
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;
v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄,消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄;MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包,並在發布打包流程中校驗這些依賴。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
llama.cpp 發布 b11563 建置,其中 ggml 把符號預設可見性改為 hidden,避免一批內部符號通過 GGML_API 洩漏(#30014,討論見 #29997)。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel(自 tetherto#257 移植)。在 RTX 3090(SM86)與 RTX 4090(SM89)通過正確性和 prefill 基準測試後,CUDA 側啟用 GDN MMA,其他未測試架構繼續沿用原有 fallback;ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
ggml-openvino 後端更新到 2026.4.1,重點最佳化 Qwen3.5 MoE 推理效能,並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載(cache_only)等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B,pp512 從 66.16 t/s 提升到 1608.73 t/s,tg128 從 25.94 提升到 26.46 t/s,困惑度基本不變。
Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。
Google DeepMind 的 EmbeddingGemma 2 已上線 Ollama,執行 ollama pull embeddinggemma-2 即可拉取。訊息由 Ollama 官方帳號在 10 月 6 日發布,官方稱該模型面向消費級裝置,並且是多模態模型。原文未披露模型體積、上下文長度與具體支援的模態等細節。
llama.cpp 發布建置 b11581,主要改動是刪除模型實現中多餘的 ggml_cont 呼叫,官方稱所有 unary kernel 現在都已支援這種用法,CUDA unary kernel 也已跟進。同一批提交修正了 qwen3next:在用於廣播乘法的 sigmoid 前後恢復 cont_2d 張量連續性,並清理 dflash 的 cont。
Ollama 模型庫新增 Google DeepMind 的 embeddinggemma-2 頁面,地址為 ollama.com/library/embeddinggemma-2,使用者可通過 Ollama 拉取該嵌入模型。該條目由 Ollama 官方帳號發布,指向 Google DeepMind 的這一模型。原文未給出模型規模、上下文長度、許可證或效能資料等細節。
Ollama 發布 v0.40.6 預發布版,GGUF 格式新增 q2_0 張量與檔案型別,為更低位元的模型量化提供支援。該版本還修復了 Windows 上 runner 程序殘留(孤兒程序)的問題,並在 Ollama 雲端上線 clef,同時把 --ask 模式的提問鍵改為識別符號。更新由 jmorganca、dhiltgen、jberg5 提交,共 1 個 commit。
llama.cpp 發布 b11731,ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化,提交者為 IBM 的 Aaron Teo,可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物,覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。
Google DeepMind 發布 EmbeddingGemma 2,一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型,可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構,可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器,並用 MRL 把輸出向量從 768 維截斷到 128 維,本地向量庫儲存最多省 6 倍。
llama.cpp 發布 b11786 建置,ggml-cpu 後端的 f32 gelu_quick 與 geglu_quick 改為不依賴 fp16 查表直接計算,同時保留 GGML_GELU_QUICK_FP16 表路徑,並新增 VXE 的 gelu_quick 路徑。該版本還為 f32 CPU 核心補充 test-gelu-quick 測試,並從其中移除 inf/nan 輸入。
llama.cpp 發布 b11720,ggml 的 SUM 運算新增非連續(non-contiguous)張量檢視支援,覆蓋 CPU、CUDA、Vulkan 與 WebGPU 四種後端,並補充了非連續檢視的測試用例。
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed,訂閱使用者隨機獲得體驗資格,有網友實測速度達 490 tokens/s。作為對比,上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s,GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。
Google DeepMind 發布 EmbeddingGemma 2,稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外,把程式碼、影像、音訊與影片統一對映到同一個共享向量空間,可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位,未公布引數規模、上下文長度、適配硬體與開源許可等細節。
llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行,結果在記憶體中是 [OL, N, OC],reshape 卻宣告為 [OL, OC, N],形狀正確但內容被轉置,因此不報錯、通道與批次交錯;N==1 時兩種讀法等價,倉庫裡三個 vocoder 都沒觸發。
llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 方法,並公開 API ggml_backend_buft_alloc_buffer_n,同時加入 get_alloc_size_n 與配套測試。預設實現負責多緩衝區拆分與張量分配,Meta 緩衝區型別提供按裝置建立子上下文的自訂實現;cpu、metal、openvino、hexagon、webgpu 等現有後端介面先置為 NULL。
llama.cpp 發布 b11532 建置,ModernBERT 編碼器改用精確 GELU(exact GELU),替代此前的近似實現;同時保留 ggml_geglu 上的 tanh GELU 別名,並把 gelu_python 對映到 ggml_geglu_erf。
llama.cpp 合併 PR #29928,為 GLM5-Next 加入多 token 預測(MTP)的 NextN 計算圖,使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入,並把 MTP 圖按輸出行裁剪,無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms,貪心輸出雜湊與 draft 接受率不變。
llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度(context_length),資料取自 GGUF 後設資料,無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64,檔案缺失或無效時返回 0,router 列表因此可離線攜帶該欄位。
llama.cpp 發布 b11772 建置,修復 mtmd 中 Gemma 4 的 FFN 啟用(#30882)。該版本同步提供 macOS/iOS、Linux、Android、Windows 和 openEuler 的預編譯包,覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等平台與後端,其中部分條目標註為 DISABLED。
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援,由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face,可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行,無需等待社群自行轉換。
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援,包含 GGUF 轉換、計算圖、tokenizer、chat template,以及推理與工具呼叫。