依意思最接近的 26 筆
llama.cpp 建置 b11560 為 Hexagon NPU 後端新增 IM2COL_3D 支援，並把 hex-im2col 核心重寫為規範的 DMA 雙緩衝流水線，去掉除法運算與低效的 fp16 轉換，同時將 kernel_params 與 VTCM 佈局預計算移到 host 側、支援非連續檢視。該系列提交由 OpenCode 輔助完成，共同作者為高通的 Max Krasnyansky。
llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
llama.cpp 建置 b11516 修復了 Hexagon NPU 上 IM2COL patch-embed 的 DMA 環形佇列溢位問題：當 IC*KH 超過 255 時，每執行緒 256 項的 DMA 環寫滿後新描述符被靜默丟棄，導致 VTCM 暫存緩衝的剩餘行未寫入，陳舊資料（常為 NaN/inf）汙染輸出。修復方式是在環滿時淘汰最舊描述符並呼叫 dma_queue_flush() 等待，與同檔案 blocked kernel 的做法一致。
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
llama.cpp 合併 PR #14891，為 GGUF 格式 imatrix 引入基於啟用值的統計計算，新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數（ECS），並支援外部 NextN 草稿檔案（-md / --model-draft）。預設不啟用啟用統計以避免 imatrix 體積翻倍，統計報告佈局與排序也按 imatrix 型別更新。
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。
llama.cpp 發布 b11564 建置，Vulkan 後端為 CM2 matmul 專門化量化塊大小，並改用三元表示式避免 switch 降低帶來的開銷，同時澄清了相關注釋。該版本照例附帶全平台建置，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
llama.cpp 合併 b11405 版本更新，為 lightning indexer 在 CUDA 與 ROCm 後端新增分塊核心，針對 4 頭場景最佳化。新核心將鍵以半精度暫存、查詢逐頭載入，每執行緒負責一個鍵對兩個 token，避免點積的跨執行緒歸約；同時把乘積改為 float 計算以防 half2 溢位，並讓每個鍵元素只擴充套件一次供所有頭使用。ROCm 上內層迴圈展開 8 次，gfx908 僅用 63 個 VGPR 無溢位，R9700 上核心提速 36 倍。
llama.cpp 發布 b11573 建置，Vulkan 後端改用打包 FMA 做 f16 累加，不再使用獨立的點積運算元。新的 dot_product 實現每次 f16 FMA 打包兩行，並更名為 dot_product_v2。該版本照例提供各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、SYCL、OpenVINO、Vulkan，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU；
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
德國 AI 公司 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri，總引數 78B、啟用引數 3B，支援最長 1M token 上下文，權重已在 Hugging Face 開放下載，採用 Apache 2.0 許可。該模型為英德雙語 MoE Transformer，面向公共管理、工業與航空航天等受監管領域，在 AIME 2025 上得分 96.9，官方稱其效能可對標啟用引數四倍於己的模型。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。
微軟發布第三代自研 AI 晶片 Maia 300，將其定位為微軟產品與服務的主要 AI 推理系統，計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示，相比主流的 GPU 系統，Maia 300 每兆瓦可多輸出 40% 的 token，並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率，減少對 Nvidia GPU 的依賴。
llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
EmbeddingGemma 2 是一個 740M 引數的開源權重多模態模型，把文字、影像、影片與音訊對映到統一向量空間，面向隱私優先的端側檢索。開發者可用 MediaPipe Tasks 跨平台整合，或通過 LiteRT 在 CPU、GPU、NPU 上做細粒度效能最佳化。模型支援邊輸入邊搜的媒體檢索、影片關鍵幀定位與零樣本意圖路由等超低延遲本地場景。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。