llama.cpp 發布 b11565:SYCL 後端 DMMV 行尾讀取加保護
llama.cpp 發布 b11565 建置,主要改動是為 SYCL 後端的 DMMV 在行尾加上讀取保護,修復越界讀取(PR #29338)。這批預編譯產物同時更新了平台矩陣:macOS Apple Silicon 啟用 KleidiAI 的版本與 openEuler 兩項被標記為 DISABLED;macOS 與 iOS 另提供 Intel x64 與 XCFramework 產物;
依意思最接近的 11 筆
llama.cpp 發布 b11565 建置,主要改動是為 SYCL 後端的 DMMV 在行尾加上讀取保護,修復越界讀取(PR #29338)。這批預編譯產物同時更新了平台矩陣:macOS Apple Silicon 啟用 KleidiAI 的版本與 openEuler 兩項被標記為 DISABLED;macOS 與 iOS 另提供 Intel x64 與 XCFramework 產物;
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention,此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕,預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上,pp8192 從 432.80 提升到 1292.29 tok/s(2.99 倍,+198.6%),tg256 在噪聲範圍內基本不變(45.67 對 45.65)。
OpenAI 在 DevDay 上由 Sam Altman 發布新 AI agent Dots,稱公司要為前沿 AI 的隱私樹立新標準。同場 OpenAI 還暗諷競爭對手 Meta 的 Muse 沒能保護好使用者資料,而 Muse 幾個月前才作為 OpenClaw 的繼任者推出,扎克伯格當時同樣承諾它從底層為隱私與安全而設計。The Verge 的報導由此追問:這些隱私承諾究竟能否兌現。
llama.cpp 發布建置 b11512,首要改動是修復 DFlash 模型的輸出頭共享問題。該版本改為從 GGUF 後設資料讀取繫結的輸出權重、共享繫結的詞嵌入後設資料,並移除 DFlash 嵌入頭回退邏輯,這幾項改動均由 Codex 協助完成。
DeepSeek 彈性計算團隊大量招聘,尤其需要資深工程師,併發布技術報告《DeepSeek 彈性計算(DSec):面向大規模 Agent 訓練的沙盒基礎設施》。DSec 支撐 DeepSeek-V4 全部訓練、評測和資料預處理,單個分片約 160 臺伺服器、3 萬 CPU 核心、250TB 記憶體,每天服務約 300 萬個沙盒,高峰線上超 38 萬個,每秒建立 5000 多個。團隊接下來要把 Agent 執行環境的數量和種類擴充成百上千倍。
llama.cpp 發布建置 b11459,唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL;
llama.cpp 發布 b11389 版本,修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題(PR #29934)。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制,包括 Vulkan、CUDA、ROCm、SYCL 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。
llama.cpp 發布 b11554,Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理:不再逐個迴圈,而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟,會生成緊湊的 tile 描述列表、按需發射多個 tile,從而收緊 workgroup 數量上界,尾部執行緒可直接提前退出。