依意思最接近的 30 筆
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
llama.cpp 發布建置 b11680，Hexagon NPU 後端完成張量重打包（repacking/tiling）重構：新增對分塊與扁平量化權重、以及 F16/F32/BF16 二維權重的重打包支援，分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS。該版本移除了 need_repack hack，並清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯，最佳化小 src1 的 get-rows 效能。
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp 建置 b11790 為 Hexagon NPU 的權重重排（repack/tiling）加入 NEON 向量化與多執行緒支援：先實現 q4_0 的向量化 repack，再擴充套件到 q1/q2/f16 等型別，並補上簡單的分塊與執行緒化。改動由高通工程師參與提交，Hexagon 後端僅用於 Snapdragon 平台的 CPU、Adreno GPU、Hexagon NPU 建置；同批建置仍覆蓋 macOS、Linux、Windows、Android 各後端。
llama.cpp 的 SYCL 後端放行了 GLM-4.7 Flash 的 MLA 形狀走 MKL flash attention，此前該形狀因 K/V 寬度不一致、head dim 上限 512 被排程器拒絕，預填充只能回退到更慢的 TILE kernel。在 Intel Arc Pro B70 上，pp8192 從 432.80 提升到 1292.29 tok/s（2.99 倍，+198.6%），tg256 在噪聲範圍內基本不變（45.67 對 45.65）。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。
llama.cpp 合併 PR #29071，修復 SYCL 後端在 Flash Attention（FA）中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp，提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中，此版本同時提供 Ubuntu x64（SYCL FP32、FP16）與 Windows x64（SYCL）等建置。
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題：該運算元按 n_tasks=1 規劃，但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行，當計算圖中還有別的多執行緒運算元時，編號大於 0 的執行緒就會寫到工作緩衝區之外；修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。
llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
llama.cpp 發布建置 b11527（PR #30219），WebGPU 後端移除 1D workgroup 派發，所有原本使用 1D 派發的運算元（如 rms_norm）統一改為 2D workgroup dispatch。
argmin.net 刊出文章，審視 OpenAI 聲稱能更快計算傅裡葉變換的數學方法。該帖在 Hacker News 上獲得 43 分、17 條評論，討論圍繞這一加速宣稱的數學依據是否成立。
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
九章雲極為 GLM-5.3 推出推測解碼加速方案 Alaya-DFlash2，在 8×H200、TP=8 單併發下解碼速度達 288.2 tokens/s，為原生自迴歸 84.5 tokens/s 的 3.41 倍，總輸出吞吐從 78.95 提升至 236.47 tokens/s。64 併發時吞吐 608.71 tokens/s，較原生提升 44.9%；32k 上下文下草稿接受長度 5.39，高於參評的 IncoAI-DFlash2 與 RedHat-DSpark。
llama.cpp 為測試用的隨機模型生成器引入按張量名匹配的填充表，修復了 Muse Spark 在約 6% 隨機種子下 test-llama-context 的 state_load、cp_h、cp_d 失敗。原生成器對每個張量獨立取值，破壞了範數保持殘差門 alpha²+beta²=1 的約束，使模型變成放大器；新表改為按塊只抽一次原始權重，再按轉換邏輯解出 alpha 與 beta。
llama.cpp 發布 b11640，Vulkan 後端針對 cm2 mulmat 的矩陣乘法改用對 L2 快取更友好的 workgroup 排程（#30215）。同一版本把 macOS Apple Silicon 的 KleidiAI 建置標記為 DISABLED，並重新整理各平台預編譯包：Ubuntu 與 Windows x64 新增 ROCm 10.0，CUDA 13 建置對應 CUDA 13.4 庫。