依意思最接近的 30 筆
llama.cpp 發布 b12027 建置，為 LFM3 模型啟用 tensor split，支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端，並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本；
llama.cpp 發布 b11528，修復 meta backend 處理主機記憶體 tensor 檢視時的斷言失敗。此前使用 --split-mode tensor 並配合部分 offload 時，KV cache 的 view 會被留在 meta split 中，導致 ggml_backend_meta_get_split_state() 解引用 tensor->buffer->context 崩潰；
llama.cpp 建置 b11858 起，對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分（#31081）：amax 的 POOL_1D 歸約跨越整個 matmul 行，單個裝置無法從 axis-0 拆分中算出結果，因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
ttok 1.0 發布，預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器，但 William Liu 的實驗顯示，5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致，均為 44,794，GPT-6 在這批語料上沒有增加輸入 token。
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
llama.cpp 建置 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查，輸入 GGUF 檔案被截斷時直接拒絕，不再靜默產出損壞的張量資料。修復點位於 gguf-split.cpp 的 copy_file_to_file（split_strategy）與 export-lora.cpp 的 read_tensor_data，並附帶回歸測試，驗證截斷輸入被拒絕、合法張量資料仍被保留。
llama.cpp 新建置 b11868 給驍龍 Hexagon NPU 的多核 HMX flash attention 加入了 KV 頭分組拆分，並把原來的 FA_HEAD_SPLIT 與 FA_SPLIT 兩套開關合併為單一開關 GGML_HEXAGON_FA_SPLIT。設為 0 時只做 token 拆分；
Google 等團隊發布 T2J-Bench，用 63 個整倉任務評測 Coding Agent 把 PyTorch 程式碼庫遷移到 JAX 的品質。任務覆蓋 18 個模型家族，含 45 個 LoRA 微調任務和 18 個 paged-attention 推理服務任務，從規範、數值、行為三層檢查。
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架，其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax，最佳化目標是滿足服務要求的達標輸出吞吐；另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%，官方註明屬收益測算範例。
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
H-Nets（分層網路）公布擴充套件實驗結果：兩級（2-stage）版本在匹配開源模型的情況下，只用了約 1/10 的算力和資料就取得更優表現。作者同時給出受控的 1-stage 縮放階梯，顯示僅靠可學習的 tokenization 就能帶來 3 到 5 倍算力效率提升。H-Nets 把位元組到詞的切分放進模型內部端到端完成以取代 BPE 分詞器，並觀察到上下文內分詞等此前語言模型未見的行為，相關研究還延伸到生物與視覺任務。
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
Anthropic 發布一套面向企業客戶的報表工具：管理者可以按時間段檢視團隊用 AI 做了什麼、產出多少、消耗多少 token、流程卡在哪裡，並獲得改進建議；這些資料預設不用於模型訓練。同時上線團隊共享預算池，用於管理 token 支出。Anthropic 披露 Claude Code 淨收入留存率達 900%；
A2UI 支援可切換推理格式，新增的 A2UI Express 會把緊湊的 Python 風格語法經 Agent SDK 編譯成標準 A2UI JSON，token 用量最多減少 3 倍，延遲同步下降。開發者還可以結合 TypeSafe 的 Jev 系統決策模型進行受控生成，在 300ms 內渲染出已知結構的介面，同時讓較小模型流式輸出文字。前端渲染器與元件目錄無需改動，Python、TypeScript、Dart 均可使用。
開源專案 gpu-unlock-ada 通過修改 GPU 啟動階段的暫存器配置，讓 RTX 4090 在 FP16/BF16 輸入、FP32 累加的 Tensor Core 運算上，吞吐率從 165.6 TFLOPS 提升到 331.6 TFLOPS，接近翻倍，且無需刷 BIOS 或修改官方驅動。同樣的思路已在 RTX 3090 Ti、3080 等 30 系顯示卡和 2018 年的 RTX 2080 Ti 上覆現，Windows 11 也出現了 UEFI 實驗方案。
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q，並新增融合 gate/up 核心：一次啟動即算出 up*act(gate)，最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用，面向投機解碼驗證（每步 2 到 8 個 token）與 9 到 80 token 的短 prompt 批次。