依意思最接近的 30 筆
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
llama.cpp 發布 b12172，為 WebGPU 後端加入批次張量介面 get_tensor_n 與 set_tensor_n，可一次讀寫多個張量，同時清理了過時註釋並修復 editor-config 檢查。該版本照例提供 macOS/iOS、Linux、Android、Windows 全平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、OpenCL 等後端。
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
Google 等團隊發布 T2J-Bench，用 63 個整倉任務評測 Coding Agent 把 PyTorch 程式碼庫遷移到 JAX 的品質。任務覆蓋 18 個模型家族，含 45 個 LoRA 微調任務和 18 個 paged-attention 推理服務任務，從規範、數值、行為三層檢查。
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上用 torch.profiler 抓取乾淨的 trace 並定位推理耗時。
llama.cpp 建置 b12002 為 ggml 加入通用批次張量複製 API，並把 llama 的 context io 改為按批次執行裝置張量複製。新 API 已獲 CUDA 後端支援，會按緩衝區型別分組排程，同時移除了舊的非同步 tensor_n 介面並補上空緩衝區鉤子，還修復了二維批次張量的識別問題。測試方面，test-backend-tensor 經過重構，用 mock 緩衝區型別驗證鉤子呼叫、逐張量回退，以及 cpy_tensor_n 的全有全無語義。
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
TorchNeuron 將於 2026 年 10 月 20 日進入公開測試，為 AWS Trainium 提供原生 PyTorch 後端，可用 pip install torch-neuronx 安裝。
llama.cpp 發布 b11907 建置，把 hyper-connection 與 DSA 圖建置器原先通過 ggml_tensor** 輸出引數寫出的額外輸出（post/comb gates、保留的 top-k 選擇、inject gates）改為與主輸出一起放進一個小結構體返回。這是一次介面層面的改動，呼叫這些圖建置器的程式碼需要同步調整。
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1，約 2.8 萬億 token，覆蓋印度憲法列出的 22 種語言，即將開源，同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token（按 Gemma-4 分詞器計），共 34 種語言—文字組合，其中 12 種語言另有羅馬化文字。
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
Hugging Face 推出 torch-neuronx 模型支援查詢 Space，可查 Hub 上的熱門模型能否不經修改在 AWS Trainium 上執行。每條結果給出模型分片佔用的 Trainium 核數、含編譯的實際耗時和峰值視訊記憶體，並提供測試所用的 run.py，以及從 NEFF 快取跳過編譯的命令。目前僅覆蓋 Transformers 的文字生成與圖文模型，且只測試能放進 4 張 trn2（16 核）的模型，PASS 不代表吞吐或長文字生成表現。
OpenAI 發布 GPT-6.1 Terra，主打詳細的視覺推理與精確的 computer use，寫作更清晰自然、速度更快。定價為每百萬輸入 token 1 美元、輸出 5 美元，約為 GPT-5.6 Terra 與 GPT-6.1 Sol 的一半，是 GPT-6 Luna 的約 10 倍。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
OpenAI 推出 GPT-6.1 Terra，主打更快、更強的電腦操作與更低價格。該模型能理解螢幕內容、跨應用執行操作並自然寫作，定位為可覆蓋整個工作日的更強模型，並以更高效率承擔更多工。原文未公布具體價格、額度與上線範圍。
llama.cpp 發布 b12027 建置，為 LFM3 模型啟用 tensor split，支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端，並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本；
OpenAI 上線 GPT-6.1 Terra，這是一款主打視覺推理、精確電腦操作與自然寫作的快速模型。定價為輸入每百萬 token 1 美元、輸出 5 美元，快取輸入 0.05 美元；上下文視窗 105 萬 token，單次最多輸出 12.8 萬 token，知識截止 2026 年 6 月 1 日。
NVIDIA 開源 Auto Ontology，一個從企業後設資料自動生成本體與語義層的庫，目的是讓 agent 在查詢資料之前先確認指標定義、資料來源和處理方式。它通過 MCP、CLI 和 API 把上下文提供給任意 agent 框架，支援用自然語言查詢關係型資料庫並轉成 SQL，預設呼叫 Nemotron-3-nano-30b 與 embed-1b 模型，資料存放在 Postgres 與 pgvector 中，可連線 Databricks、Snowflake、DuckDB。
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援，並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s，LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s，詞表 softmax 約快 8 倍。
GPT-6.1 Terra 將接入 OpenAI API 與 Codex。該訊息由 @OpenAIDevs 發布，開發者可用它建置能解讀影像、操作軟體並執行動作的應用與 agent。官方稱其 computer use 速度更快、成本更低，適合高頻、大批次工作流。