llama.cpp releasesAI 評分45
llama.cpp 修復 fit 漏算 NextN 層的解除安裝問題
llama.cpp 修復了 fit 在自動分配 GPU 層數時漏算 NextN 層的問題：這些層不含權重，fit 只按 n_layer + 1 計數，而載入器按 n_layer_all + 1 計算 n_gpu_layers，導致本應全部解除安裝的模型仍把第 0 層留在 CPU（雙卡跑 Qwen3.8-27B 時顯示 offloaded 65/66 layers）。
搜尋
依意思最接近的 30 筆
llama.cpp releasesAI 評分40
llama.cpp b11792 將 d2t 改到 set_rows 以留在 GPU
llama.cpp 建置 b11792 將 d2t 放到其 set_rows 使用處，使其運算能留在 GPU 上，而不是回退到 CPU。該版本同時發布多平台預編譯包，覆蓋 macOS/iOS、Linux（含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android 與 Windows。需要注意的是，macOS Apple Silicon 的 KleidiAI 版本以及 openEuler 部分目標在本次建置中處於停用狀態。
llama.cpp releases● 精選AI 評分69
llama.cpp b11507 支援 MoE 快取跨多 GPU
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。
NVIDIA blogAI 評分59
Mistral Large 4 用 3800 塊 GB200 訓練，輝達歐洲雲合作伙伴同步擴容
輝達在歐洲的雲合作伙伴集體擴容，其中 Mistral 在自有歐洲資料中心用 3800 塊 Grace Blackwell GPU 訓練出最新前沿多模態模型 Mistral Large 4，覆蓋編碼、agentic 工作流與多模態理解，其 Vera Rubin 基礎設施計劃 2027 年交付。Nscale 用 GB300 NVL72 與 DSX MaxLPS，在同等供電預算下多部署 37% 的 GPU，聚合推理吞吐提升近 50%。
TechCrunch AI● 精選AI 評分79
輝達發布 Nemotron 3.5 開源模型，覆蓋企業 agent 與本地 AI PC
輝達發布 Nemotron 3.5 系列開源權重模型，含 1200 億引數的企業 agent 模型 Super VL，以及面向本地 AI PC 和 DGX Spark 工作站的輕量 Bolt。輝達稱 Super VL 引數少於 Nemotron 3 Ultra，但在指令遵循與工具呼叫上準確率相近；針對文件智慧、財務、科研、醫保理賠等 agent 任務做後訓練後，完成任務快於 Anthropic 與 OpenAI 競品。
NVIDIA blog● 精選AI 評分87
輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型
輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL，主打多模態 agentic 任務，官方稱其準確率接近自家最大推理模型、引數量約為五分之一，吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型：Bolt 74B-A9B 24GB 採用原生 2-bit 量化，可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent，現已可用；Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置，10 月 23 日發布。
Hacker News front pageAI 評分63
SkyPilot 為 NVL72 做拓撲感知排程，同機架多 27% 可用 GPU
SkyPilot 通過拓撲感知放置、硬體故障就地恢復和共享叢集自動碎片整理，讓 NVL72 上的多節點任務儘量保持在同一機架內，從同樣機架多提供 27% 可用 GPU。背景是跨機架任務仍會落到 InfiniBand：Hugging Face 測得訓練從 NVLink 切到 InfiniBand 吞吐下降 43%，而 NVL72 用統一 NVLink 連線單機架 72 塊 GPU，可把張量並行與專家並行的 all-reduce、all-to-all 留在機架內。
llama.cpp releasesAI 評分43
llama.cpp 的 WebGPU 後端新增批次張量 API
llama.cpp 發布 b12172，為 WebGPU 後端加入批次張量介面 get_tensor_n 與 set_tensor_n，可一次讀寫多個張量，同時清理了過時註釋並修復 editor-config 檢查。該版本照例提供 macOS/iOS、Linux、Android、Windows 全平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、OpenCL 等後端。
NVIDIA blog● 精選AI 評分65
NVIDIA 公布本地 AI 硬體陣容，DGX Spark 64GB 將於 10 月 23 日開售
NVIDIA 在 GTC 柏林公布本地 AI 硬體全線進展：DGX Spark 64GB 將於 10 月 23 日由合作伙伴開售，最多八臺組成叢集、合計 1TB 統一記憶體。DGX Station for Windows 定於 12 月推出，支援製造業應用與 agent harness；Linux 版 DGX Station 以 748GB 一致記憶體服務 30 名以上使用者。
TechCrunch AI● 精選AI 評分80
Google 開源 TorchTPU，PyTorch 應用改配置即可跑在 TPU 上
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
llama.cpp releasesAI 評分58
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
X @ollama● 精選AI 評分66
NVIDIA Nemotron 3.5 Super VL 上線 Ollama，單卡吞吐提升 5 倍
NVIDIA Nemotron 3.5 Super VL 現已在 Ollama 上線，可用 ollama run nemotron-3.5-super 直接拉取執行。該模型同時具備推理與視覺理解能力，覆蓋多種 agent 工作流。官方稱在單張 GPU 上，它的 agent 任務吞吐量最高可達同尺寸其他開源模型的 5 倍。
Hacker News front pageAI 評分70
越獄 PS5 用 GPU 跑 llama.cpp，變成區域網模型伺服器
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
NVIDIA blogAI 評分61
NVIDIA 發布 Minerva，為 AI 工廠提供端到端可觀測性
NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。
llama.cpp releasesAI 評分45
llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；
Google Developers blog● 精選AI 評分69
Google 補全 Coral NPU 開源架構，邊緣推理 1 TOPS、功耗 10 mW
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
llama.cpp releasesAI 評分41
llama.cpp 為 Hexagon NPU 增加 VTCM 大小可覆蓋引數
llama.cpp 建置 b11913 把 Hexagon 後端的 VTCM 上限改為可通過 GGML_HEXAGON_VTCM_SIZE 覆蓋，並支援 K/M/G 單位字尾，同時移除了原先的 NTHREADS 上限項。該引數面向驍龍 Hexagon NPU 的本地推理，可按裝置實際 VTCM 容量調整。同批建置仍覆蓋 macOS、Linux、Windows、Android 上的 CPU、Vulkan、CUDA、ROCm、SYCL 等後端。
llama.cpp releasesAI 評分50
b11477: llama: share the nextn tensor flags between models (#30097)
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
llama.cpp releasesAI 評分53
llama.cpp 新增 GDN chunked kernel，RTX 3090/4090 開啟 MMA
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel（自 tetherto#257 移植）。在 RTX 3090（SM86）與 RTX 4090（SM89）通過正確性和 prefill 基準測試後，CUDA 側啟用 GDN MMA，其他未測試架構繼續沿用原有 fallback；ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
NVIDIA blog● 精選AI 評分81
NVIDIA 擴充套件開放模型家族，新增 Nemotron 3.5 與 Kumo
NVIDIA 擴充套件其開放模型家族，新增 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo 與 Ising 等模型。Nemotron 3.5 支援文字和影像，面向建置 agent，稱能以更低成本編排工作流、推理並完成專項任務；Kumo 則針對結構化業務資料做預測、欺詐風險評分和行動推薦。
NVIDIA blogAI 評分45
NVIDIA 加入歐盟 AI 科研計劃，開放 250+ 開源模型
NVIDIA 加入歐盟委員會在都柏林 AI in Science Summit 上啟動的 AI in Science Enablers 計劃，將向歐洲科研界開放加速計算工具、算力與培訓。NVIDIA 已開源 250 多個模型、250 個資料集與 1400 多個開源專案，包括 Nemotron、BioNeMo、PhysicsNeMo、Earth-2 和 ALCHEMI NIM，可用於 agentic 推理與科學計算。
llama.cpp releasesAI 評分45
llama.cpp CUDA 後端將 NVFP4 的 gate/up 矩陣乘與 GLU 融合進 MMQ
llama.cpp 的 CUDA 後端把 NVFP4 的 gate/up 矩陣乘與 GLU 啟用融合進 MMQ 核心，以減少中間結果的讀寫。該 PR（#31296）還讓融合後的 gate/up MMQ 遵循請求的 src1 精度，複用 NVFP4 scale 檢查邏輯，跳過未被使用的融合 FP4 核心，並補充 W4A8 無 scale 與批次輸入的測試。發布包覆蓋 Linux、Windows 的 x64 與 arm64 CUDA 12.8、13.4 建置。
X @lmstudio● 精選AI 評分77
@lmstudio: Nemotron 3.5 Super VL from @NVIDIAAI is live in LM Studio!
NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線，可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構，支援視覺輸入與推理，並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體，模型頁面位於 lmstudio.ai。
X @ollama● 精選AI 評分77
Nemotron 3.5 Bolt 74B-A9B 上架 Ollama，原生 2-bit 量化只需 24GB
Ollama 上線 NVIDIA Nemotron 3.5 Bolt 74B-A9B，官方稱其採用原生 2-bit 量化，可壓進 24GB 記憶體，並能與其他應用同時執行。該模型是視覺語言模型（VLM），定位是在本地處理日常 agentic 任務。執行 ollama run nemotron-3.5-bolt 即可拉取執行。
llama.cpp releasesAI 評分56
llama.cpp CUDA 後端融合 FFN gate/up 矩陣乘與 GLU
llama.cpp 的 CUDA 後端把稠密 FFN 的 gate 與 up 兩次矩陣乘合併為一次 mul_mat_q 呼叫，並在寫回階段直接計算 GLU，主要加速 prompt 處理。權重按每 8 行交錯裝載，使每個執行緒同時持有 up 值與對應的 gate 值，MMA 迴圈、warp 佈局與 vec_dot 保持原樣，寫回只輸出一半行。
Hugging Face blog● 精選AI 評分69
Ai2 用 GPU 時間預算替代優先順序排程
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300，叢集規模從 88 到 1024 塊 GPU，服務約 150 名內部研究者，GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹（最終 100% 工作負載都標為 HIGH）以及值班工程師大量時間用於協商關閉不可搶佔任務。
llama.cpp releasesAI 評分45
llama.cpp 最佳化 GDN 卷積狀態寫入，每 token 裝置複製減半
llama.cpp 合併補丁 b12086：build_conv_state_at 改為直接寫入卷積輸入尾部，不再先做連續複製，使每個 GDN 層每生成一個 token 的裝置複製從兩次降為一次。在含 36 個 GDN 層的 Qwen3.8-Flash-Next 上，每 token 複製數由 72 次降至 36 次；投機解碼回滾時也會少一次複製。
NVIDIA blogAI 評分50
NVIDIA 開源 5G/6G 工具下載破百萬，AI Aerial 採用量增 10 倍
NVIDIA 稱其開源 5G/6G 工具累計下載量已突破 100 萬次，AI Aerial 與 Sionna 的開發者採用量一年內增長 10 倍，全球逾 8000 家研究機構在用。官方列舉的應用中，倫敦國王學院用 Jetson AGX Orin 跑 Sionna 做語義通訊，機器人任務完成時間最多縮短 52.6%；SoftBank 把神經接收器接入 Aerial CUDA-Accelerated RAN，在 15 種干擾設定下上行吞吐全部優於傳統接收器，最高約 60%。
llama.cpp releasesAI 評分39
llama.cpp 新增 WebGPU 後端 ARANGE 運算元支援
llama.cpp 建置 b12066 在 WebGPU 後端加入 ARANGE 運算元支援（#31455），補齊該後端在張量生成類操作上的能力。同版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等加速路徑；
llama.cpp releasesAI 評分42
llama.cpp b12088 為 LFM3 GGUF 模型啟用 NVFP4 支援
llama.cpp 發布 b12088 版本，在模型側為 LFM3 的 GGUF 模型啟用 NVFP4 支援。同批預編譯包覆蓋 macOS Apple Silicon、iOS、Windows、Android，以及 Linux 上的 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 後端；Snapdragon 版本提供 CPU、Adreno GPU、Hexagon NPU 三條路徑。