llama.cpp releasesAI 評分47
llama.cpp CUDA 後端為 XIELU 啟用函式補上 BF16 支援
llama.cpp 的 CUDA 後端為 XIELU 啟用函式補上 BF16 支援，此前這條路徑只支援 F32 與 F16。XIELU 的 CUDA kernel 模板本身已對元素型別泛型化，這次只是在 launcher 里加上 nv_bfloat16 分支，並移除 ggml-cuda.cu 中拒絕 BF16+XIELU 的臨時 gate。
搜尋
依意思最接近的 30 筆
Ollama releasesAI 評分42
v0.40.5：MLX 的 Metal 自訂核心移植到 CUDA
v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA，MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中，OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫，應用端澄清了雲支付報錯提示，文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升，以及新貢獻者 @willietran 的首次提交。
llama.cpp releasesAI 評分43
llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題
llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；
Hacker News front pageAI 評分68
Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
NVIDIA blogAI 評分55
NVIDIA cuDSS 正式發布，模擬稀疏求解最高提速 10 倍
NVIDIA cuDSS 結束預覽轉為正式可用，這個 CUDA-X 庫把工程與科學模擬中最耗時的大規模稀疏方程組求解交給 GPU。官方給出的合作方資料包括：應用材料在 Ginestra 中稀疏求解最高提速 10 倍，達索系統 Abaqus 的結構與電磁求解器提速 8 至 10 倍，蔡司 SMT 用 COMSOL 跑 EUV 光刻等離子體基準取得 4 倍加速、整輪模擬 6 天 14 小時完成。
llama.cpp releasesAI 評分32
llama.cpp b11732 修復 CUDA 編譯警告，附各平台預編譯包
llama.cpp 發布 b11732 建置，本次唯一的程式碼改動是修掉 CUDA 後端多餘分號引發的編譯警告（#30774）。預編譯包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包含 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 上的 Adreno GPU 與 Hexagon NPU，Windows arm64 也提供 CUDA 13 版本。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
NVIDIA blogAI 評分62
Google Cloud 宣布 Vera Rubin A5X 例項下月正式可用
Google Cloud 與 NVIDIA 宣布 Vera Rubin 基礎設施正式可用，A5X 例項將於下月上線，並計劃擴充套件至歐洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Virgo 網路與第四代液冷，面向大規模 agentic 推理與強化學習，Google Cloud 計劃在多個站點部署最多 96 萬塊 Rubin GPU。
llama.cpp releasesAI 評分43
llama.cpp b11510 修復 CUDA PAD 核心 65535 行上限
llama.cpp 發布 b11510，CUDA 後端的 PAD kernel 改為迴圈處理，可支援超過 65535 行或切片的填充，解除此前的行數上限（#30147）。該版本同時更新各平台預編譯產物：macOS Apple Silicon 的 KleidiAI 建置仍標記 DISABLED，openEuler 建置也未啟用；
llama.cpp releasesAI 評分45
llama.cpp 為 Adreno X1 新增 MxFP4 MoE 核心
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel（gemm_moe_mxfp4_q8_1_dp4a_ila_ldck），並在 X1E 上啟用 dp4a clc，用於加速驍龍裝置上的 MoE 模型推理。
llama.cpp releasesAI 評分40
llama.cpp 為 4 頭 lightning indexer 新增 CUDA 分塊核心
llama.cpp 合併 b11405 版本更新，為 lightning indexer 在 CUDA 與 ROCm 後端新增分塊核心，針對 4 頭場景最佳化。新核心將鍵以半精度暫存、查詢逐頭載入，每執行緒負責一個鍵對兩個 token，避免點積的跨執行緒歸約；同時把乘積改為 float 計算以防 half2 溢位，並讓每個鍵元素只擴充套件一次供所有頭使用。ROCm 上內層迴圈展開 8 次，gfx908 僅用 63 個 VGPR 無溢位，R9700 上核心提速 36 倍。
llama.cpp releasesAI 評分42
llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法
llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。
Mistral AI news● 精選AI 評分63
Mistral 聯手 NVIDIA 建工程 AI 基準，Large 4 將發布權重
Mistral 與 NVIDIA 宣布合作開發 AI 原生工程工作流：以 Mistral Large 4 配合資料生成與物理建模管線，用 NVIDIA CUDA-X、Warp 加速模擬，並接入 Omniverse 生成 3D 場景與 SimReady 資產。雙方還將發布物理模型的公開基準與開放資料集，併為 CAE、EDA 中的 agentic AI 建立評測，考察工具使用、多步流程與技術正確性，同時記錄耗時與算力成本。
llama.cpp releasesAI 評分40
llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題
llama.cpp 發布 b11538 建置，修復 CUDA 後端的舍入問題，使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫，Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置，Snapdragon 平台提供 CPU、Adr…
llama.cpp releasesAI 評分43
llama.cpp 發布 b11425：CUDA alloc_deps 檢查改為與 batch 無關
llama.cpp 發布 b11425 建置，主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關（PR #29986，修復 #29980）。該版本同時更新各平台預編譯產物，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64，以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。
llama.cpp releasesAI 評分42
llama.cpp b11498 發布：修復 CUDA norm 核函式網格超限
llama.cpp 發布 b11498，修復 CUDA 後端 norm 系列核函式在 ne[2]/ne[3] 超過網格維度上限時的問題（PR #28175）。該版本建置產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等；
Ollama releasesAI 評分26
v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫
v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄，消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄；MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包，並在發布打包流程中校驗這些依賴。
llama.cpp releasesAI 評分16
llama.cpp 發布 b11391 版本，CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本，唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置（PR #29939），由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp releasesAI 評分41
llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流
llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；
NVIDIA blog● 精選AI 評分66
輝達發布 DSX POD，Vera Rubin 工廠現場部署縮至 14 天
輝達在 GTC Berlin 發布 DSX POD 參考設計：由合作伙伴在模組化集裝箱內整合並驗證完整的 Vera Rubin AI 工廠，站點水電就緒後現場部署可從六個月縮短到 14 天。Vera Rubin 已全面量產，DSX 平台稱冷卻用水最多減少 100%，同等 AI 產出省電 30%。
llama.cpp releasesAI 評分42
llama.cpp b11640：Vulkan 矩陣乘法改用 L2 友好排程
llama.cpp 發布 b11640，Vulkan 後端針對 cm2 mulmat 的矩陣乘法改用對 L2 快取更友好的 workgroup 排程（#30215）。同一版本把 macOS Apple Silicon 的 KleidiAI 建置標記為 DISABLED，並重新整理各平台預編譯包：Ubuntu 與 Windows x64 新增 ROCm 10.0，CUDA 13 建置對應 CUDA 13.4 庫。
llama.cpp releasesAI 評分23
llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置
llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；
The Verge AIAI 評分51
首批 RTX Spark 筆記本發布：Arm 晶片，Windows 專門最佳化
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會，這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構，而非 AMD、Intel 傳統的 x64，並搭配高效能 GPU，定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作，讓 Windows 適配這批新機器。
量子位● 精選AI 評分71
SpaceX 為 Anthropic 供算力：22 萬塊 GPU，Claude Code 額度提高
SpaceX 與 Anthropic 的算力協議包含超 300 兆瓦新容量和 22 萬塊輝達 GPU，並提高 Claude Code 與 API 的使用額度；SpaceX 8 月首份財報顯示季度 AI 業務收入 25.61 億美元，同比增長 247%。算力緊張正在重塑矽谷關係，Google 2024 年花 27 億美元請回的 Gemini 聯合負責人 Noam Shazeer 因團隊算力被重新分配轉投 OpenAI。
llama.cpp releasesAI 評分42
llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11465，覆蓋 CUDA 13 與 ROCm 10.0 等平台
llama.cpp 發布建置版本 b11465，本次改動是「測試：在測試遞迴回滾時保留 anchor」（#29923）。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13（CUDA 13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。
X @SpaceXAIAI 評分16
X Premium 打包 Cursor、Grok 與 Bot 等 AI 服務
X Premium 訂閱將把多款 AI 工具打包在一起：在 Cursor 裡用 AI 寫程式碼、用 Bot 處理工作、用 Grok 對話與創作，並同時享有 X Premium 的全部功能。該訊息由 @SpaceXAI 發布，未披露價格、上線時間以及各工具的具體使用額度。
llama.cpp releasesAI 評分40
llama.cpp 發布 b11662 建置，含 ROCm 10.0 與 CUDA 13 版本
llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
llama.cpp releasesAI 評分43
llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置
llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。