搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/12 04:00AI 評分48

llama.cpp b11560 為 Hexagon NPU 新增 IM2COL_3D 支援

llama.cpp 建置 b11560 為 Hexagon NPU 後端新增 IM2COL_3D 支援，並把 hex-im2col 核心重寫為規範的 DMA 雙緩衝流水線，去掉除法運算與低效的 fp16 轉換，同時將 kernel_params 與 VTCM 佈局預計算移到 host 側、支援非連續檢視。該系列提交由 OpenCode 輔助完成，共同作者為高通的 Max Krasnyansky。

地端推論開源 Hexagon NPU IM2COL_3D OpenCode DMA 運算元最佳化

閱讀原文

llama.cpp releases10/9 06:04AI 評分45

llama.cpp 修復 Hexagon IM2COL DMA 環形佇列溢位

llama.cpp 建置 b11516 修復了 Hexagon NPU 上 IM2COL patch-embed 的 DMA 環形佇列溢位問題：當 IC*KH 超過 255 時，每執行緒 256 項的 DMA 環寫滿後新描述符被靜默丟棄，導致 VTCM 暫存緩衝的剩餘行未寫入，陳舊資料（常為 NaN/inf）汙染輸出。修復方式是在環滿時淘汰最舊描述符並呼叫 dma_queue_flush() 等待，與同檔案 blocked kernel 的做法一致。

地端推論開源 llama.cpp Hexagon IM2COL DMA NPU

閱讀原文