AISpot

搜尋

依意思最接近的 30 筆

llama.cpp releasesAI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;

Hugging Face blog● 精選AI 評分69

Ai2 用 GPU 時間預算替代優先順序排程

Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。

llama.cpp releasesAI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

NVIDIA blog● 精選AI 評分65

NVIDIA 開源 Vera Rubin 機架設計,MGX 1.2 支援單機架 250kW

NVIDIA 在 OCP 全球峰會上把 Vera Rubin 機架與計算托盤設計通過 MGX 開放架構貢獻給 OCP,併發布 MGX 1.2 規格。MGX 1.2 新增機架級盲插液冷、5000A 液冷母排與原生 19 英寸裝置支援,單機架部署最高 250kW,同時加入面向 agentic AI 的 Vera CPU 機架設計。

Hacker News front pageAI 評分74

RTX Spark 筆記本裝上 Arch Linux,116GiB 記憶體池由 CPU 與 CUDA 共用

官方只支援 Windows 的 ASUS ProArt P16(128GB 記憶體版)已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作,補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動,做出可啟動映象,並擴充套件 Archinstall 4.5 來安裝硬體支援;7-Zip 單執行緒成績與 Windows 基本持平,20 執行緒壓縮約領先 5%、解壓約領先 3%。

llama.cpp releasesAI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;

The Verge AI● 精選AI 評分76

輝達 RTX Spark N1X 筆記本開賣,最高 128GB 統一記憶體

輝達 RTX Spark N1X 處理器正式上市,首批發售的 Windows 筆記本來自六家廠商,其中微軟 Surface Laptop Ultra 配備 128GB 統一記憶體。這是面向筆記本和小型桌上型電腦的 Arm 架構 SoC,整合 RTX Blackwell 顯示卡,核心數量眾多,主打以統一記憶體執行較大規模的本地 AI 模型,對標蘋果、英特爾、AMD 和高通。目前已有四款機型完成測試,包括華碩的 64GB 版本。

llama.cpp releasesAI 評分36

llama.cpp 發布 b11459:ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459,唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL;

llama.cpp releasesAI 評分42

llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題

llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。

llama.cpp releasesAI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元(#29245),面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物,覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。

llama.cpp releasesAI 評分43

llama.cpp 修復 Adreno A6x 的 OpenCL 核心編譯崩潰並支援 623

llama.cpp 建置 b11533 修復了 Adreno A6x GPU 上的 OpenCL 核心編譯崩潰,並把 Adreno 623 加入 A6X 檢測列表。具體做法是在 A6X 上跳過 kernel_cpy_f32_f32_pack——A623 的編譯器後端(E031.50.31.01)無法處理引數過多的核心;GEMV 核心裡的 get_local_size 也加了常量摺疊變通方案。

llama.cpp releasesAI 評分42

llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查

llama.cpp 發布 b11466,唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查(#28205)。該版本同步更新各平台預編譯包,涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;

NVIDIA blogAI 評分61

NVIDIA 發布 Minerva,為 AI 工廠提供端到端可觀測性

NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。

Pi changelogAI 評分52

Pi 1.1.0 支援 Claude Haiku 5.5 與程式狀態上報

Pi 1.1.0 發布,新增對 Claude Haiku 5.5(anthropic/claude-haiku-5-5)的支援,自適應思考可開到 xhigh/max,並在 Bedrock 上啟用提示快取。同時加入 OSC 7501 程式狀態上報,支援的終端與 agent 面板可看到 Pi 正在工作、被對話方塊或登入阻塞、完成還是失敗。

The Verge AIAI 評分51

首批 RTX Spark 筆記本發布:Arm 晶片,Windows 專門最佳化

微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會,這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構,而非 AMD、Intel 傳統的 x64,並搭配高效能 GPU,定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作,讓 Windows 適配這批新機器。

llama.cpp releasesAI 評分43

b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)

llama.cpp 的 HIP 後端把 64 行/128 執行緒的 MMQ tile 擴充套件到更多量化型別與 J 值組合,覆蓋 RDNA3.5(gfx115x);此前該配置只在 J≤32 時使用,更大的 tile 會佔滿 LDS,無法讓每個 CU 再容納一個工作組。在 gfx1151 上對 100 個 MUL_MAT 形狀做三輪測試,中位提升 2.1%、最佳 26.0%,5 個 MUL_MAT_ID 形狀中位提升 8.0%。J=96 因未獲益被明確排除,其餘條目保持不變。

llama.cpp releasesAI 評分37

llama.cpp b11501:SYCL 後端 FWHT 最佳化,macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置,主要變更是 SYCL 後端的 FWHT 最佳化(PR #29605)。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

llama.cpp releasesAI 評分43

llama.cpp b11515:SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU

llama.cpp 發布 b11515,主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心,並加入融合 GLU(#29375),面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;

量子位AI 評分19

京東 11.11:AI 覆蓋 3000 多個場景,首推即時影片購物數字人

京東 11.11 的 AI 能力已覆蓋零售、物流、健康、外賣、家政等 3000 多個場景,JoyAI App 推出首個能即時影片購物的 AI 數字人。京東 APP 16.0 升級 AI 購物助手“東東”,JoyInside 已上線超 300 款 AI 商品,數字人 JoyAvatar 在 11.11 期間服務超 9 萬商家;物流“超腦”大模型 3.0 包裹量預測準確率突破 94.2%。活動 10 月 12 日晚 8 點開啟,首日下單使用者數同比雙位數增長,並首次全景展示超百項服務產品,推出“333”計劃,單品服務至高優惠 4680 元。

llama.cpp releasesAI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296,把 CPU 上的 AVX2 分塊累加器(tiled accumulators)歸併處理,用於最佳化 x86 CPU 推理,改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置,覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。