依意思最接近的 30 筆
開源專案 gpu-unlock-ada 通過修改 GPU 啟動階段的暫存器配置，讓 RTX 4090 在 FP16/BF16 輸入、FP32 累加的 Tensor Core 運算上，吞吐率從 165.6 TFLOPS 提升到 331.6 TFLOPS，接近翻倍，且無需刷 BIOS 或修改官方驅動。同樣的思路已在 RTX 3090 Ti、3080 等 30 系顯示卡和 2018 年的 RTX 2080 Ti 上覆現，Windows 11 也出現了 UEFI 實驗方案。
VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研（385 名受訪者）顯示，79% 的企業表示其 GPU 至少一半時間完全閒置，這一比例三個月穩定在 77% 至 81%。但在這批企業中，70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台；計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API，僅 8% 考慮擴建本地私有叢集。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
GPU-unlock 1.0.0 發布，這個 Linux 核心模組能在 NVIDIA 驅動繫結前解鎖 GA102/GA103/GA104/GA106（RTX 30 系部分顯示卡）的 FP/BF16 指令發射速率，使其達到專業卡水平。3090 Ti 實測 BF16 GEMM 從 87.50 升至 157.41 TFLOPS，FP16 從 87.46 升至 118.39，TF32 從 42.58 升至 82.61；
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
無問芯穹（Infinigence AI）在輝達研究院的 GPU 運算元效能評測榜 SOL-ExecBench 上先後登頂 L1 基礎運算元、L2 融合運算元、Quant 量化與 FlashInfer-Bench 推理全部四大賽道；截至 10 月 26 日仍在 L1 與 Quant 兩賽道總分全球第一，在 235 道題中拿下 88 項單題第一，超過第二名單題第一數量的 2 倍，其中 L2 賽道的 82 道題中佔了 39 項第一。
一篇新論文提出 Minions：把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲，用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長，而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載，具體排程方式與效能資料未在摘要中給出。
NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
llama.cpp 發布 b11909 建置，Hexagon 後端針對 MUL_MAT_ID 加入行跳過最佳化。具體改動包括：把跳過行的清零改為向量化，把清零加入融合的 MM_ID_NX，並移除標量除法。這些改動主要影響驍龍 Hexagon NPU 上的 MoE 類推理；
llama.cpp 發布建置 b11527（PR #30219），WebGPU 後端移除 1D workgroup 派發，所有原本使用 1D 派發的運算元（如 rms_norm）統一改為 2D workgroup dispatch。
llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel，所有型別共用一套實現，量化型別也包含在內：稠密源行只需一次 memcpy，轉置源則按元素逐個複製，元素大小在編譯期已知。行不再只沿 i2 維度切分（該維度常為 1），而是按 32 行一組分塊分給多執行緒；遇到轉置源時在外層迴圈遍歷元素，讓同一 tile 的各行讀取相鄰地址。
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
llama.cpp 建置 b11523 為 WebGPU 後端補上 GGML_OP_DUP 運算元，修復了混合批處理路徑的崩潰。此前副本須在 CPU 生成、寫入卻排在 WebGPU，導致繫結 CPU 緩衝後崩潰；現在 DUP 與 CPY、CONT 走同一路徑。此版發布中啟用 KleidiAI 的 macOS Apple Silicon 建置被標為 DISABLED。
SF Compute CEO Evan Conrad 在 Latent Space 播客中表示，其平台不只買賣 GPU 小時的現貨與遠期，還負責物理交付：買家拿到的是能直接跑負載的算力，而非對指數的現金結算。為此公司自建了雲的大部分運營能力，處理可中斷性、儲存恢復速度、GPU 代際與網路軟體配置等同時影響合約和價格的約束。他還提到可線上切分 InfiniBand 網路，以及此前 2.45 億美元的算力銷售。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
llama.cpp 發布 b11486 建置，Hexagon 後端的 GELU 啟用函式精度得到改進（#30104）。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端，覆蓋 Linux arm64、Android arm64 與 Windows arm64。
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel（自 tetherto#257 移植）。在 RTX 3090（SM86）與 RTX 4090（SM89）通過正確性和 prefill 基準測試後，CUDA 側啟用 GDN MMA，其他未測試架構繼續沿用原有 fallback；ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
一批明星研究者創辦的 Neolab 在模型遲遲沒跑出來的情況下，把融資後提前鎖定的算力轉手賣出，做起了轉售 GPU 的生意。具體做法有三種：溢價轉手 1 至 3 年長期算力租約、按天或按周拆賣閒置 GPU 例項，以及直接用開源模型提供按 token 計費的推理 API；背景是 H200 現貨租金一度上漲約 160%、B200 漲 120%、H100 仍有約 35% 溢價。Dealroom 統計的 29 家典型 Neolab 累計融資 230 億美元，真正推出商業化產品的不到 35%，馬斯克則評論當下缺的是電而不是卡。
Google AI Edge 推出 ML Drift，一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉，讓開發者無需直接處理這些介面，就能在移動端與桌面端建置即時互動式 ML 體驗，覆蓋從複雜影片特效到生成式 AI 的場景。
投機解碼提速並不是因為計算量更少，恰恰相反，同一序列的浮點運算總量反而上升。它快在改變了 GPU 的工作型別：逐個 token 解碼時 GPU 處於記憶體瓶頸、算力閒置，而用小草稿模型一次並行驗證多個 token，等於用閒置算力換取單條序列的深度推進。被拒絕的草稿 token 都是白做的功，高吞吐場景下反而浪費算力，因此 vLLM 提供 --speculative-disable-by-batch-size 引數按批大小整體關閉該功能；
llama.cpp 建置 b11789 為 OpenCL 後端新增支援向量化啟用載入的 dp4a GEMM 變體，用於提升量化矩陣乘的推理效率，同時重新命名了相關核心與環境變數。
llama.cpp 發布 b11731，ggml-cpu 後端將 ggml_v_silu 與 ggml_v_expf 向量化，提交者為 IBM 的 Aaron Teo，可加速 CPU 推理中的 SiLU 啟用與指數運算。該版本照例更新了各平台預編譯產物，覆蓋 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO、Android 及 Windows arm64 等。
llama.cpp 建置 b11792 將 d2t 放到其 set_rows 使用處，使其運算能留在 GPU 上，而不是回退到 CPU。該版本同時發布多平台預編譯包，覆蓋 macOS/iOS、Linux（含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android 與 Windows。需要注意的是，macOS Apple Silicon 的 KleidiAI 版本以及 openEuler 部分目標在本次建置中處於停用狀態。
llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題：該運算元按 n_tasks=1 規劃，但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行，當計算圖中還有別的多執行緒運算元時，編號大於 0 的執行緒就會寫到工作緩衝區之外；修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。