搜尋

依意思最接近的 30 筆

NVIDIA blog10/21 10:10AI 評分41

NVIDIA 擴充套件 Agent Toolkit，新增知識基礎與 Kumo 模型家族

NVIDIA 宣布擴充套件開源 Agent Toolkit，核心是全新的 Agent Knowledge Foundation：它結合 CUDA-X 庫與 Auto-Ontology，把企業原始資料對映為業務概念，讓智慧體直接查詢並預測，且無需遷移資料或改動治理控制。

產品與方案開源 NVIDIA Agent Toolkit Agent Knowledge Foundation Nemotron Kumo 企業智慧體

Ollama releases10/20 21:15AI 評分26

v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫

v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄，消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄；MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包，並在發布打包流程中校驗這些依賴。

地端推論開源 MLX CUDA GGML 本地推理發布候選

llama.cpp releases10/5 07:08AI 評分40

llama.cpp 為 4 頭 lightning indexer 新增 CUDA 分塊核心

llama.cpp 合併 b11405 版本更新，為 lightning indexer 在 CUDA 與 ROCm 後端新增分塊核心，針對 4 頭場景最佳化。新核心將鍵以半精度暫存、查詢逐頭載入，每執行緒負責一個鍵對兩個 token，避免點積的跨執行緒歸約；同時把乘積改為 float 計算以防 half2 溢位，並讓每個鍵元素只擴充套件一次供所有頭使用。ROCm 上內層迴圈展開 8 次，gfx908 僅用 63 個 VGPR 無溢位，R9700 上核心提速 36 倍。

地端推論開源 llama.cpp CUDA ROCm lightning indexer kernel 最佳化

2 個來源 · 4 則報導閱讀原文

Ollama releases10/14 19:45AI 評分42

v0.40.5：MLX 的 Metal 自訂核心移植到 CUDA

v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA，MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中，OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫，應用端澄清了雲支付報錯提示，文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升，以及新貢獻者 @willietran 的首次提交。

地端推論開發工具 Ollama MLX CUDA Metal 自訂工具呼叫

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/19 13:53AI 評分32

llama.cpp b11732 修復 CUDA 編譯警告，附各平台預編譯包

llama.cpp 發布 b11732 建置，本次唯一的程式碼改動是修掉 CUDA 後端多餘分號引發的編譯警告（#30774）。預編譯包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包含 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 上的 Adreno GPU 與 Hexagon NPU，Windows arm64 也提供 CUDA 13 版本。

地端推論開源 llama.cpp CUDA 本地推理跨平台建置版本發布

llama.cpp releases10/5 04:35AI 評分37

llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程

llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。

地端推論開源 llama.cpp CUDA FlashAttention 版本更新本地推理

llama.cpp releases10/8 16:20AI 評分43

llama.cpp b11510 修復 CUDA PAD 核心 65535 行上限

llama.cpp 發布 b11510，CUDA 後端的 PAD kernel 改為迴圈處理，可支援超過 65535 行或切片的填充，解除此前的行數上限（#30147）。該版本同時更新各平台預編譯產物：macOS Apple Silicon 的 KleidiAI 建置仍標記 DISABLED，openEuler 建置也未啟用；

地端推論開源 llama.cpp CUDA 本地推理跨平台建置版本發布

llama.cpp releases10/15 03:24AI 評分53

llama.cpp 新增 GDN chunked kernel，RTX 3090/4090 開啟 MMA

llama.cpp 建置 b11632 為 CUDA 和 HIP 後端加入 GDN chunked kernel（自 tetherto#257 移植）。在 RTX 3090（SM86）與 RTX 4090（SM89）通過正確性和 prefill 基準測試後，CUDA 側啟用 GDN MMA，其他未測試架構繼續沿用原有 fallback；ggml 側另註明 GDN 只在 n_tokens > K 時保證最終狀態。

地端推論開源 llama.cpp GDN CUDA HIP Codex

llama.cpp releases10/6 21:09AI 評分41

llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流

llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp CUDA ROCm 本地推理版本更新

Mistral AI news● 精選10/21 00:00AI 評分63

Mistral 聯手 NVIDIA 建工程 AI 基準，Large 4 將發布權重

Mistral 與 NVIDIA 宣布合作開發 AI 原生工程工作流：以 Mistral Large 4 配合資料生成與物理建模管線，用 NVIDIA CUDA-X、Warp 加速模擬，並接入 Omniverse 生成 3D 場景與 SimReady 資產。雙方還將發布物理模型的公開基準與開放資料集，併為 CAE、EDA 中的 agentic AI 建立評測，考察工具使用、多步流程與技術正確性，同時記錄耗時與算力成本。

商業模型 Mistral Large 4 物理 AI 工程模擬基準測試開源資料集

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/17 12:49AI 評分50

llama.cpp b11710 為 CUDA 加入分組專家 top-k 融合

llama.cpp 發布 b11710，主要變更是 CUDA 後端新增 grouped experts 的 top-k 融合，並把它接入 graph_optimize，同時補上測試。同批提交還包含多處 HIP 修復，最終改為按 HIP 版本做條件編譯。

地端推論開源 llama.cpp CUDA MoE HIP 本地推理

NVIDIA blog10/22 15:00AI 評分61

NVIDIA 發布 Minerva，為 AI 工廠提供端到端可觀測性

NVIDIA 發布 AIOps 平台 Minerva，為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜，每小時分析數十億資料點，用於發現異常、預測故障並把告警風暴聚合為帶根因的事件；平台還內建 AI 助手，可連線外部 agentic 工具，目標是提升 GPU 正常執行時間與 AI 工廠產出。

產品與方案商業 NVIDIA Minerva AIOps AI 工廠可觀測性 GPU 運維

Hacker News front page10/6 16:23AI 評分73

AI 設計的開源加速卡 openTPU 跑通十餘款模型

一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。

開源地端推論 openTPU 開源硬體 FPGA AI 加速器本地推理

NVIDIA blog10/15 10:00AI 評分45

NVIDIA 加入歐盟 AI 科研計劃，開放 250+ 開源模型

NVIDIA 加入歐盟委員會在都柏林 AI in Science Summit 上啟動的 AI in Science Enablers 計劃，將向歐洲科研界開放加速計算工具、算力與培訓。NVIDIA 已開源 250 多個模型、250 個資料集與 1400 多個開源專案，包括 Nemotron、BioNeMo、PhysicsNeMo、Earth-2 和 ALCHEMI NIM，可用於 agentic 推理與科學計算。

商業開源歐洲開源模型科學計算 AI 工廠超算

llama.cpp releases10/9 20:14AI 評分40

llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題

llama.cpp 發布 b11538 建置，修復 CUDA 後端的舍入問題，使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫，Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置，Snapdragon 平台提供 CPU、Adr…

地端推論開源 llama.cpp CUDA 本地推理版本發布建置產物

llama.cpp releases● 精選10/8 16:34AI 評分74

llama.cpp CUDA 重做 top-k 選擇：大行數改用 radix

llama.cpp 的 CUDA 後端重做 top-k 演算法選擇，大行數場景改用按行網格的 radix select 替代 CUB 逐行 DeviceTopKKernel，在 qwen4exp 34,816 tokens 上啟動次數從 1,671,253 次降到 2,329 次，耗時從 5,761.8 ms 降到 941.8 ms。

地端推論開源 CUDA top-k 效能最佳化 llama.cpp GGML

Ollama releases10/21 20:12AI 評分32

v0.40.9-rc0: ci: switch to released WoA CTK (#19185)

Ollama 發布 v0.40.9-rc0，核心改動是把 Windows on Arm（WoA）CUDA 支援所用的 CUDA Toolkit 從預發布版切換到已正式發布的版本。維護者 dhiltgen 說明，此前一直在用 pre-release，而下載站點不穩定，因此改為跟進最新的正式版 CUDA Toolkit。該 tag 於 10 月 21 日建立，附帶 2 個建置產物；這次提交只涉及 CI 依賴，沒有模型或功能層面的變化。

地端推論 Ollama Windows on Arm CUDA Toolkit 發布候選

llama.cpp releases10/7 10:13AI 評分35

llama.cpp 發布 b11462，含 SYCL fattn 緩衝區清理

llama.cpp 發布 b11462 建置，本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理（#27689）。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL 本地推理開源版本發布

llama.cpp releases10/4 19:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/5 15:21AI 評分43

llama.cpp 發布 b11425：CUDA alloc_deps 檢查改為與 batch 無關

llama.cpp 發布 b11425 建置，主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關（PR #29986，修復 #29980）。該版本同時更新各平台預編譯產物，覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64，以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp CUDA b11425 本地推理版本更新

llama.cpp releases10/11 13:13AI 評分43

llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題

llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；

開源地端推論 llama.cpp AVX2 F16C CPU 推理版本發布

llama.cpp releases10/5 13:09AI 評分33

b11422: cuda: use the vector lightning indexer kernel on MUSA (#29990)

llama.cpp 合併 PR #29990，在 MUSA 後端改用向量版 lightning indexer kernel。原因是 MUSA 架構 21 與 22 的靜態共享記憶體上限為 28 KB，而 tile kernel 需要 33 KB，所以 tile kernel 不用於 MUSA；CUDA 與 ROCm 仍執行合併後的原 kernel，沒有變化。

地端推論開源 MUSA CUDA 核心最佳化共享記憶體 llama.cpp

2 個來源 · 4 則報導閱讀原文

Google Developers blog● 精選10/19 00:00AI 評分78

LiteRT 發布 Tensor API，可用 C++ 手寫端側模型圖

LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。

開發工具地端推論 LiteRT Tensor API 端側 AI SAM 2 WebGPU

llama.cpp releases10/15 15:44AI 評分40

llama.cpp 發布 b11662 建置，含 ROCm 10.0 與 CUDA 13 版本

llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp GGML 本地推理跨平台版本發布

llama.cpp releases10/15 16:15AI 評分40

llama.cpp 發布 0.7.0，預編譯包更新 CUDA 13 與 ROCm 10.0

llama.cpp 版本號升至 0.7.0，建置號為 b11669。此次發布的預編譯包覆蓋 macOS（Apple Silicon 與 Intel）、Linux、Windows、Android、iOS 及 openEuler，其中新增 CUDA 13（基於 13.4 庫）與 ROCm 10.0 後端，並保留 Vulkan、SYCL、OpenVINO 等選項。

地端推論開源 llama.cpp 版本更新本地推理跨平台開源

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/4 14:12AI 評分16

llama.cpp 發布 b11391 版本，CUDA 程式碼小幅調整

llama.cpp 發布 b11391 建置版本，唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置（PR #29939），由 Hugging Face 的 Adrien Gallouët 提交。

地端推論開源 llama.cpp CUDA 版本發布跨平台建置

llama.cpp releases10/21 01:30AI 評分38

llama.cpp 新建置支援 CUDA 下 7 尺寸 SSM 卷積核

llama.cpp 發布 b11770 建置，CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援（#30873），補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp ggml-cuda CUDA 本地推理版本發布

llama.cpp releases10/7 11:31AI 評分37

llama.cpp 發布 b11465，覆蓋 CUDA 13 與 ROCm 10.0 等平台

llama.cpp 發布建置版本 b11465，本次改動是「測試：在測試遞迴回滾時保留 anchor」（#29923）。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13（CUDA 13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp 版本更新本地推理建置發布

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/4 22:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理