llama.cpp releasesAI 評分46
llama.cpp 重構 SYCL 後端 XMX 多列矩陣乘,新增融合 gate/up 核心
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q,並新增融合 gate/up 核心:一次啟動即算出 up*act(gate),最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用,面向投機解碼驗證(每步 2 到 8 個 token)與 9 到 80 token 的短 prompt 批次。
找到 2 筆;也可以試試 語意搜尋
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q,並新增融合 gate/up 核心:一次啟動即算出 up*act(gate),最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用,面向投機解碼驗證(每步 2 到 8 個 token)與 9 到 80 token 的短 prompt 批次。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。