AISpot

搜尋

找到 3 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分49

llama.cpp 為 Hexagon 重排加上 NEON 向量化與多執行緒

llama.cpp 建置 b11790 為 Hexagon NPU 的權重重排(repack/tiling)加入 NEON 向量化與多執行緒支援:先實現 q4_0 的向量化 repack,再擴充套件到 q1/q2/f16 等型別,並補上簡單的分塊與執行緒化。改動由高通工程師參與提交,Hexagon 後端僅用於 Snapdragon 平台的 CPU、Adreno GPU、Hexagon NPU 建置;同批建置仍覆蓋 macOS、Linux、Windows、Android 各後端。

llama.cpp releasesAI 評分37

llama.cpp 修復 ARM NEON fp32→fp16 未走硬體指令

llama.cpp 建置 b11761 修復了 ARM NEON 分支只選中 fp16→fp32、漏掉 fp32→fp16 的問題:此前該方向一直靜默回退到軟體實現,已定義的 fcvt 硬體指令無人呼叫。補丁讓該分支同時選中兩個方向,並加入 #error,任何定義了 COMPUTE 宏卻未選中對應實現的平台分支會直接編譯失敗。fp16→fp32 方向按 PR 30343 仍刻意走查表,因此保留 !defined(F16C) 例外;

Hacker News front pageAI 評分63

pg_vectorsearch 推出 PRISM 索引,稱比 pgvector HNSW 更快

PostgreSQL 擴充套件 pg_vectorsearch 以 alpha 版發布,其 PRISM 索引在 1 億向量資料集上同等召回率下比 pgvector 的 HNSW 更快,且記憶體只需四分之一。PRISM 屬 IVF 風格,用層次化質心樹分割槽,配合 RaBitQ 量化與誤差界做兩階段過濾,距離計算針對 AVX2、AVX512、NEON 最佳化,並支援插入、更新、刪除的動態更新。