AISpot

GPU-unlock 1.0.0 解鎖 RTX 30 系部分顯示卡 FP/BF16 速率

Hacker News front page官方公告地端推論開源

GPU-unlock 1.0.0 發布,這個 Linux 核心模組能在 NVIDIA 驅動繫結前解鎖 GA102/GA103/GA104/GA106(RTX 30 系部分顯示卡)的 FP/BF16 指令發射速率,使其達到專業卡水平。3090 Ti 實測 BF16 GEMM 從 87.50 升至 157.41 TFLOPS,FP16 從 87.46 升至 118.39,TF32 從 42.58 升至 82.61;

提供免逐版驅動打補丁的解鎖方式,3090 Ti BF16 GEMM 提升約 80%,LLM prefill 提升 14–36%,對本地推理與顯示卡算力挖掘有參考價值。

原標題:GPU-unlock: FP/BF16 instruction issue rate on Nvidia 3000's cards
閱讀原文

評分78 / 84(平均 81,門檻 76)
狀態精選

相關報導

NVIDIA blog● 精選AI 評分91

RTX Spark 筆記本 10 月 16 日上市,Nemotron 3.5 Bolt 74B 同步發布

NVIDIA 宣布 RTX Spark 筆記本將於 10 月 16 日上市,該平台最高提供 128GB 統一記憶體與 1 petaflop AI 算力。為本地 agent 打造的 Nemotron 3.5 Bolt 74B 將在 10 月 15 日發布,採用 74B 引數、9B 啟用的 MoE 架構,以 2-bit 量化裝入 24GB 記憶體。

llama.cpp releasesAI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置,SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項(#30740)。同一版本更新了多平台預編譯產物,涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

llama.cpp releasesAI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…