AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分43

llama.cpp 將 ggml-cpu 的 concat 重寫為單一 row kernel,覆蓋全部型別

llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel,所有型別共用一套實現,量化型別也包含在內:稠密源行只需一次 memcpy,轉置源則按元素逐個複製,元素大小在編譯期已知。行不再只沿 i2 維度切分(該維度常為 1),而是按 32 行一組分塊分給多執行緒;遇到轉置源時在外層迴圈遍歷元素,讓同一 tile 的各行讀取相鄰地址。

llama.cpp releasesAI 評分43

llama.cpp b11574 最佳化 Hexagon NPU 複製與拼接運算元

llama.cpp 發布 b11574 建置,重點最佳化 Hexagon NPU 後端的 CPY/CONCAT 與 gather-rows 運算元:按 DMA 描述符分塊搬執行、加入雙緩衝與迴圈展開,緩解短行場景受 DMA 延遲拖累的問題,並支援 3/4 維維度摺疊。該版本還把 mdev 下 vtcm_acquire 的同步狀態全部改為原子操作,修復多裝置配置中的隨機卡死,並新增只建置/安裝 Hexagon 後端的選項。