搜尋

llama.cpp 為 Hexagon NPU 重寫 TOP_K 取樣

llama.cpp 建置 b12094 重寫了 Hexagon 後端的 TOP_K 取樣：先跳過最大值夠不到當前第 k 名的 tile，再用 top_k_scan() 以一次 HVX max-reduce 剔除 256 個 float 的塊，只把存活元素插入 k 項有序表，取代原先的整塊雙調排序。該路徑覆蓋 k 在 2 到 64、行寬超過 1024 的情形，單行與多行均生效；並列時保留首次出現的索引，NaN 按 -INF 處理。同一提交還去掉了 vtcm 上的標量讀取。