找到 5 筆
llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。
llama.cpp 把 Hexagon 後端的 softplus 啟用從標量迴圈改為 HVX 向量實現，Snapdragon NPU 上的推理可因此加速。softplus_f32 與 tile_softplus_f32 統一呼叫新的 hvx_softplus_f32_aa()，複用後端已有的 hvx_vec_exp_f32 與 hvx_vec_log_f32，不引入新的數值近似。
llama.cpp 新建置 b11696 修正了 Hexagon NPU 上 HMX 核心的 flash attention sink 計算，並把 sinks 做了向量化，提交由高通工程師 Max Krasnyansky 參與。該版本照例給出 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；
llama.cpp 新建置 b11433 在高通 Hexagon NPU 後端加入 pool 運算元支援，包含 pool_1d 與 pool_2d。同一批提交重寫了 DMA 流水線、加入池化分塊（pool chunking）、移除並向量化全部標量路徑，並最佳化 HTP 池化邊界、簡化分塊求解器與清理冗餘檢查。
JetBrains AI 團隊發文介紹其語義程式碼搜尋平台 Air Context 的 RAG 流水線，已投入生產環境。首篇聚焦解析、分塊與向量化：固定行數分塊會把 import 與函式體等無關程式碼混在一起，導致檢索錯誤，因此需按原始碼結構（如 Java 的 import、類定義、欄位與方法）劃分語義完整的塊。