llama.cpp releases● 精選AI 評分72
llama.cpp 新增 NCCL 多節點張量並行支援
llama.cpp 建置 b12079 為多節點張量並行加入 NCCL 支援：CUDA 後端實現了一套跨程序的集合通訊後端介面，並在 RPC server 可用時啟用。
搜尋
依意思最接近的 30 筆
llama.cpp releasesAI 評分42
llama.cpp 為 LFM3 啟用張量並行切分
llama.cpp 發布 b12027 建置，為 LFM3 模型啟用 tensor split，支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端，並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本；
llama.cpp releasesAI 評分58
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
llama.cpp releasesAI 評分43
llama.cpp 按專家 token 縮放 MoE 下投影，並支援張量並行
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
llama.cpp releasesAI 評分45
llama.cpp b11680：Hexagon 後端重構張量重打包，支援分塊量化與 FP 權重
llama.cpp 發布建置 b11680，Hexagon NPU 後端完成張量重打包（repacking/tiling）重構：新增對分塊與扁平量化權重、以及 F16/F32/BF16 二維權重的重打包支援，分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS。該版本移除了 need_repack hack，並清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯，最佳化小 src1 的 get-rows 效能。
llama.cpp releasesAI 評分46
llama.cpp 重構 SYCL 後端 XMX 多列矩陣乘，新增融合 gate/up 核心
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q，並新增融合 gate/up 核心：一次啟動即算出 up*act(gate)，最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用，面向投機解碼驗證（每步 2 到 8 個 token）與 9 到 80 token 的短 prompt 批次。
llama.cpp releasesAI 評分49
llama.cpp 為 Hexagon 重排加上 NEON 向量化與多執行緒
llama.cpp 建置 b11790 為 Hexagon NPU 的權重重排（repack/tiling）加入 NEON 向量化與多執行緒支援：先實現 q4_0 的向量化 repack，再擴充套件到 q1/q2/f16 等型別，並補上簡單的分塊與執行緒化。改動由高通工程師參與提交，Hexagon 後端僅用於 Snapdragon 平台的 CPU、Adreno GPU、Hexagon NPU 建置；同批建置仍覆蓋 macOS、Linux、Windows、Android 各後端。
TechCrunch AI● 精選AI 評分80
Google 開源 TorchTPU，PyTorch 應用改配置即可跑在 TPU 上
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
Hacker News front page● 精選AI 評分84
Google 開源 TorchTPU，為 TPU 提供 PyTorch 原生後端
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
llama.cpp releasesAI 評分45
llama.cpp 修復 ggml-cpu 多執行緒 SET_ROWS 越界寫
llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題：該運算元按 n_tasks=1 規劃，但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行，當計算圖中還有別的多執行緒運算元時，編號大於 0 的執行緒就會寫到工作緩衝區之外；修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。
Hugging Face blog● 精選AI 評分77
TorchTPU 發布：Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
llama.cpp releasesAI 評分58
llama.cpp SYCL 反量化改用向量儲存，MXFP4 MoE 預填充最高提速 61%
llama.cpp 的 SYCL 後端把多種量化格式的反量化寫回改為向量化儲存，MXFP4 MoE 20B 模型預填充提升 57%（pp2048）到 61%（pp512）。改動覆蓋 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K、Q2_K、IQ3_XXS/IQ3_S 與 MXFP4，在 Arc Pro B70 上，重排佈局後的預填充分別提升約 6%–29%，其中 Q6_K 為 28.7%、IQ3 約 20%–21%。
機器之心● 精選AI 評分90
Google 開源 TorchTPU，TPU 成為 PyTorch 原生裝置
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
Google Developers blogAI 評分60
TorchTPU 把原生 TPU 後端接入 PyTorch
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
量子位● 精選AI 評分71
記憶張量開源 MemT 1.0，記憶原生模型最大 288B 引數
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
Hacker News front pageAI 評分63
SkyPilot 為 NVL72 做拓撲感知排程，同機架多 27% 可用 GPU
SkyPilot 通過拓撲感知放置、硬體故障就地恢復和共享叢集自動碎片整理，讓 NVL72 上的多節點任務儘量保持在同一機架內，從同樣機架多提供 27% 可用 GPU。背景是跨機架任務仍會落到 InfiniBand：Hugging Face 測得訓練從 NVLink 切到 InfiniBand 吞吐下降 43%，而 NVL72 用統一 NVLink 連線單機架 72 塊 GPU，可把張量並行與專家並行的 all-reduce、all-to-all 留在機架內。
llama.cpp releases● 精選AI 評分68
llama.cpp SYCL 為 GLM MLA 預填充接入 MKL，pp8192 提速 2.99 倍
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp releasesAI 評分42
llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
llama.cpp releasesAI 評分42
llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法
llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。
機器之心● 精選AI 評分83
崑崙萬維開源 Matrix-Game 4.0：單張 RTX 5090 即時跑 AI 遊戲
崑崙萬維發布並開源 Matrix-Game 4.0，稱其為全球首個可在消費級顯示卡上即時執行的影片大模型遊戲。基於 Wan2.2 5B 改造，單張 RTX 5090 上以 480p 實現 60 FPS 遊戲執行，按鍵到畫面端到端延遲低於 150ms，1 步去噪穩態生成 83 FPS，視訊記憶體峰值約 18.5 GiB。作為對比，輝達同期 StreamRender-H3 需 8 張 GB200，互動延遲約 500ms。開源內容包括模型權重和可由開發者直接修改、擴充套件的遊戲程式碼。
llama.cpp releases● 精選AI 評分62
llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
llama.cpp releasesAI 評分43
b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)
llama.cpp 的 HIP 後端把 64 行/128 執行緒的 MMQ tile 擴充套件到更多量化型別與 J 值組合，覆蓋 RDNA3.5（gfx115x）；此前該配置只在 J≤32 時使用，更大的 tile 會佔滿 LDS，無法讓每個 CU 再容納一個工作組。在 gfx1151 上對 100 個 MUL_MAT 形狀做三輪測試，中位提升 2.1%、最佳 26.0%，5 個 MUL_MAT_ID 形狀中位提升 8.0%。J=96 因未獲益被明確排除，其餘條目保持不變。
llama.cpp releasesAI 評分42
llama.cpp b11640：Vulkan 矩陣乘法改用 L2 友好排程
llama.cpp 發布 b11640，Vulkan 後端針對 cm2 mulmat 的矩陣乘法改用對 L2 快取更友好的 workgroup 排程（#30215）。同一版本把 macOS Apple Silicon 的 KleidiAI 建置標記為 DISABLED，並重新整理各平台預編譯包：Ubuntu 與 Windows x64 新增 ROCm 10.0，CUDA 13 建置對應 CUDA 13.4 庫。
機器之心● 精選AI 評分83
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
llama.cpp releasesAI 評分45
llama.cpp Metal 後端新增 BF16 張量 flash attention 核心
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
llama.cpp releasesAI 評分45
llama.cpp 最佳化 SYCL：Intel Arc Pro B70 提示詞評估提速 19%
llama.cpp 合併了 SYCL 後端補丁，在 Intel Arc Pro B70 上讓 -sm tensor 的 prompt eval 速度提升 19%，困惑度（PPL）沒有變化。
llama.cpp releasesAI 評分53
llama.cpp 新增 GDN chunked kernel，RTX 3090/4090 開啟 MMA
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel（自 tetherto#257 移植）。在 RTX 3090（SM86）與 RTX 4090（SM89）通過正確性和 prefill 基準測試後，CUDA 側啟用 GDN MMA，其他未測試架構繼續沿用原有 fallback；ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
llama.cpp releasesAI 評分42
llama.cpp b11722 為 Hexagon NPU 加入多流 flash attention
llama.cpp 發布 b11722，Hexagon 後端新增多流 flash attention（multistream FA）支援，驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。