GPU-unlock 1.0.0 解鎖 RTX 30 系部分顯示卡 FP/BF16 速率
GPU-unlock 1.0.0 發布,這個 Linux 核心模組能在 NVIDIA 驅動繫結前解鎖 GA102/GA103/GA104/GA106(RTX 30 系部分顯示卡)的 FP/BF16 指令發射速率,使其達到專業卡水平。3090 Ti 實測 BF16 GEMM 從 87.50 升至 157.41 TFLOPS,FP16 從 87.46 升至 118.39,TF32 從 42.58 升至 82.61;
提供免逐版驅動打補丁的解鎖方式,3090 Ti BF16 GEMM 提升約 80%,LLM prefill 提升 14–36%,對本地推理與顯示卡算力挖掘有參考價值。
原標題:GPU-unlock: FP/BF16 instruction issue rate on Nvidia 3000's cards
閱讀原文
| 評分 | 78 / 84(平均 81,門檻 76) |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp 新增 GDN chunked kernel,RTX 3090/4090 開啟 MMA
llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel(自 tetherto#257 移植)。在 RTX 3090(SM86)與 RTX 4090(SM89)通過正確性和 prefill 基準測試後,CUDA 側啟用 GDN MMA,其他未測試架構繼續沿用原有 fallback;ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。
RTX Spark 筆記本 10 月 16 日上市,Nemotron 3.5 Bolt 74B 同步發布
NVIDIA 宣布 RTX Spark 筆記本將於 10 月 16 日上市,該平台最高提供 128GB 統一記憶體與 1 petaflop AI 算力。為本地 agent 打造的 Nemotron 3.5 Bolt 74B 將在 10 月 15 日發布,採用 74B 引數、9B 啟用的 MoE 架構,以 2-bit 量化裝入 24GB 記憶體。
llama.cpp 合併 SYCL FP16/FP32 反量化開關
llama.cpp 發布 b11810 建置,SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項(#30740)。同一版本更新了多平台預編譯產物,涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。
llama.cpp 為 WebGPU 後端加入 f16 支援
llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
實測 Qwen3.8 三版本:DFlash2 加速 2.8 倍
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試:RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s,約 2.8 倍;SGLang 整體快於 vLLM,但同一匯出上 vLLM 快 16%。