llama.cpp releasesAI 評分50
llama.cpp Hexagon NPU 支援 Q1_0/Q2_0 的 Hadamard 矩陣乘與取行
llama.cpp 建置 b11717 為高通 Hexagon NPU 後端加入 Hadamard 變換的 MUL_MAT 與 GET_ROWS，覆蓋 flat 與 tiled 兩種佈局的 Q1_0、Q2_0 量化，並新增 hex-hadamard 運算元。同一提交還減少了 q8_1 量化器與 vec_dot_q1 的資料包數量。
搜尋
找到 5 筆
llama.cpp releasesAI 評分56
llama.cpp 為 Hexagon NPU 加入 Q1_0 與 Q2_0 量化支援
llama.cpp 建置 b11716 為高通 Hexagon NPU 新增 Q1_0、Q2_0 兩種低位元量化的支援，其中 Q1_0 權重已可在 2D HMX MUL_MAT 路徑中啟用。同一批提交還改寫了分塊（tiling）實現、去掉迴圈內除法、最佳化 Q1_0 佈局以降低解包與 vrmpy 開銷，並修正 MUL_MAT_NX 對正方形分塊的假設，因為 Q1/Q2 使用非正方形分塊。
Ollama releasesAI 評分42
Ollama v0.40.6 預發布：GGUF 新增 q2_0 量化型別
Ollama 發布 v0.40.6 預發布版，GGUF 格式新增 q2_0 張量與檔案型別，為更低位元的模型量化提供支援。該版本還修復了 Windows 上 runner 程序殘留（孤兒程序）的問題，並在 Ollama 雲端上線 clef，同時把 --ask 模式的提問鍵改為識別符號。更新由 jmorganca、dhiltgen、jberg5 提交，共 1 個 commit。
llama.cpp releases● 精選AI 評分62
llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
Hacker News front pageAI 評分62
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。