依意思最接近的 28 筆
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
llama.cpp 發布 b12172，為 WebGPU 後端加入批次張量介面 get_tensor_n 與 set_tensor_n，可一次讀寫多個張量，同時清理了過時註釋並修復 editor-config 檢查。該版本照例提供 macOS/iOS、Linux、Android、Windows 全平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、OpenCL 等後端。
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題：該運算元按 n_tasks=1 規劃，但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行，當計算圖中還有別的多執行緒運算元時，編號大於 0 的執行緒就會寫到工作緩衝區之外；修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
llama.cpp 建置 b11792 將 d2t 放到其 set_rows 使用處，使其運算能留在 GPU 上，而不是回退到 CPU。該版本同時發布多平台預編譯包，覆蓋 macOS/iOS、Linux（含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android 與 Windows。需要注意的是，macOS Apple Silicon 的 KleidiAI 版本以及 openEuler 部分目標在本次建置中處於停用狀態。
llama.cpp 發布 b11878，CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合（PR #31025），把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼，該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。
llama.cpp 發布 b12027 建置，為 LFM3 模型啟用 tensor split，支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端，並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本；
復旦與華為小藝提出 SAGE，面向昇騰 NPU 的運算元生成成功率達 95.5%。SAGE 把知識冷啟動、工具增強診斷和經驗學習串成閉環：冷啟動用 Ascend C 速查表、除錯指南與實現範例，並通過生成實現和專家實現的差分挖掘可複用模式；診斷階段讓 Agent 自主呼叫除錯與 profiling 工具定位中間張量異常和效能瓶頸。經驗學習用 ATU 只給實際被採用的經驗分配測試反饋，並把反覆有效的規則沉澱為熱記憶。
llama.cpp 合併了 SYCL 後端補丁，在 Intel Arc Pro B70 上讓 -sm tensor 的 prompt eval 速度提升 19%，困惑度（PPL）沒有變化。
llama.cpp 建置 b12079 為多節點張量並行加入 NCCL 支援：CUDA 後端實現了一套跨程序的集合通訊後端介面，並在 RPC server 可用時啟用。
llama.cpp 發布 b12182 建置，ggml-backend-meta 為張量數量較少的緩衝區提高 compute view 上限，併為其設定每個緩衝區的最少 compute view 數；同時把 deepseek41 測試模型回退到 6 層。
llama.cpp 建置 b12002 為 ggml 加入通用批次張量複製 API，並把 llama 的 context io 改為按批次執行裝置張量複製。新 API 已獲 CUDA 後端支援，會按緩衝區型別分組排程，同時移除了舊的非同步 tensor_n 介面並補上空緩衝區鉤子，還修復了二維批次張量的識別問題。測試方面，test-backend-tensor 經過重構，用 mock 緩衝區型別驗證鉤子呼叫、逐張量回退，以及 cpy_tensor_n 的全有全無語義。
llama.cpp 發布 b11528，修復 meta backend 處理主機記憶體 tensor 檢視時的斷言失敗。此前使用 --split-mode tensor 並配合部分 offload 時，KV cache 的 view 會被留在 meta split 中，導致 ggml_backend_meta_get_split_state() 解引用 tensor->buffer->context 崩潰；
llama.cpp 發布 b11835 建置版本，主要變更是 SYCL 後端把 device 傳入 mul_mat_uses_onednn（#31014）。該版本同步提供 macOS Apple Silicon、Linux/Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等預編譯包，並包含 Android arm64 與 Snapdragon 的 CPU/Adreno GPU/Hexagon NPU 建置。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
llama.cpp 發布 b11907 建置，把 hyper-connection 與 DSA 圖建置器原先通過 ggml_tensor** 輸出引數寫出的額外輸出（post/comb gates、保留的 top-k 選擇、inject gates）改為與主輸出一起放進一個小結構體返回。這是一次介面層面的改動，呼叫這些圖建置器的程式碼需要同步調整。
llama.cpp 建置 b11849 為高通 Hexagon NPU 新增 SGN（符號函式）運算元並擴充套件到 f16，同時改用符號位來最佳化該運算元實現。同一批提交還把維度摺疊（dims collapsing）移到 host 側求解器中執行，並放寬摺疊條件的判斷，使其適用更多情形。