依意思最接近的 30 筆
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
開源專案 gpu-unlock-ada 通過修改 GPU 啟動階段的暫存器配置，讓 RTX 4090 在 FP16/BF16 輸入、FP32 累加的 Tensor Core 運算上，吞吐率從 165.6 TFLOPS 提升到 331.6 TFLOPS，接近翻倍，且無需刷 BIOS 或修改官方驅動。同樣的思路已在 RTX 3090 Ti、3080 等 30 系顯示卡和 2018 年的 RTX 2080 Ti 上覆現，Windows 11 也出現了 UEFI 實驗方案。
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
CoreWeave 的債券上週跌入困境區間，股價自週二收盤以來跌超 20%。其債券收益率較國債高出 1000 個基點，Chamath Palihapitiya 點名這筆困境債，並質疑 AI 建設是否已成私人信貸泡沫。市場對其他 AI 公司也似有連帶影響。
NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。
NVIDIA 將於 10 月 16 日正式發布 RTX Spark，一款面向創作者、玩家和 AI agent 的 Windows PC，主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出，Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動，多數需提前報名，北京場通過微信報名。
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
輝達《State of AI in Telecommunications》報告顯示，89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製，用於自主網路、客服等關鍵負載，並把閉源模型留給價值最高的場景；輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model（由 AdaptKey 在開源電信資料集上微調），並提供基於 NeMo 的端到端微調流程。
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上用 torch.profiler 抓取乾淨的 trace 並定位推理耗時。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
TorchNeuron 將於 2026 年 10 月 20 日進入公開測試，為 AWS Trainium 提供原生 PyTorch 後端，可用 pip install torch-neuronx 安裝。
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
無問芯穹完成 23 億元 C 輪融資，累計融資 43 億元，單輪與累計均創國產 AI Infra 賽道新紀錄。這家公司不做模型和應用，而是做模型與晶片之間的中間層，已適配輝達、AMD、華為昇騰等 16 種晶片，服務 37000P 算力，還完成過 700 億引數大模型的異構晶片混訓。其大模型服務平台日均 Token 使用量半年漲超 40 倍，95% 以上推理任務來自 Agent；另據彭博社報導，公司已以保密形式向港交所遞交 IPO 申請。
有人做了一款工具，追蹤 AI 行業領袖在影片中的公開表態，並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei（累計 54 條）、Alex Karp（51 條）、Marc Andreessen（49 條）、Sam Altman（45 條）、Palmer Luckey（40 條）、Satya Nadella（23 條）、Elon Musk（21 條）、Yann LeCun（6 條）等人，頁面同時標註本週新增條數，例如 Alexandr Wang 本週有 5 條。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark，把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦，筆記本即日預售、10 月 16 日發售，桌上型電腦 11 月上市。
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
Hugging Face 推出 torch-neuronx 模型支援查詢 Space，可查 Hub 上的熱門模型能否不經修改在 AWS Trainium 上執行。每條結果給出模型分片佔用的 Trainium 核數、含編譯的實際耗時和峰值視訊記憶體，並提供測試所用的 run.py，以及從 NEFF 快取跳過編譯的命令。目前僅覆蓋 Transformers 的文字生成與圖文模型，且只測試能放進 4 張 trn2（16 核）的模型，PASS 不代表吞吐或長文字生成表現。