熱點事件 · 持續更新

llama.cpp Hexagon 後端新增分塊量化 GET_ROWS 並重構重打包

2 則報導1 個報導來源10/16 05:30 更新

先了解這件事AI 綜述

llama.cpp 在 10 月連續發布兩個建置，推進驍龍 Hexagon NPU 後端對量化權重的支援。10 月 8 日的 b11487 為 Hexagon 後端加入分塊（tiled）Q4_K 與 Q6_K 的 GET_ROWS，使 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯，改動由 OpenCode 協助完成，隨建置覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。10 月 16 日的 b11680 對 Hexagon 後端的張量重打包（repacking/tiling）做了重構：新增對分塊與扁平量化權重以及 F16/F32/BF16 二維權重的重打包支援，分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS；同時移除 need_repack hack，清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯，並最佳化小 src1 的 get-rows 效能。提交說明指出，這次重構會暫時破壞 K-Quants 的 GET_ROWS 測試，計劃在下一輪修復。這些改動直接影響在驍龍裝置上藉助 Hexagon NPU 本地執行量化模型的使用者：可用的量化格式與查表路徑得到擴充套件，但 K-Quants 的 GET_ROWS 在下一版修復前可能不可用。

AI 根據 2 則報導生成 · 10/16 06:10 更新

報導時間線

沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。

全部報導 2 官方一手 2 精選報導 0

本事件熱度走勢

10/9 08:30最高 1.010/10 03:50

為什麼熱

過去 48 小時，有 0 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.0。

熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。

事件紀錄

最早報導: 10/8 03:56
最近更新: 10/16 05:30

同一事件的報導集中在這裡，新的進展會繼續補充。