AISpot

搜尋

依意思最接近的 30 筆

機器之心● 精選AI 評分84

開源專案解鎖 RTX 4090 隱藏算力,Tensor Core 吞吐翻倍

開源專案 gpu-unlock-ada 通過修改 GPU 啟動階段的暫存器配置,讓 RTX 4090 在 FP16/BF16 輸入、FP32 累加的 Tensor Core 運算上,吞吐率從 165.6 TFLOPS 提升到 331.6 TFLOPS,接近翻倍,且無需刷 BIOS 或修改官方驅動。同樣的思路已在 RTX 3090 Ti、3080 等 30 系顯示卡和 2018 年的 RTX 2080 Ti 上覆現,Windows 11 也出現了 UEFI 實驗方案。

機器之心● 精選AI 評分70

調研:79% 企業 GPU 過半時間閒置,七成仍計劃擴充算力

VentureBeat Intelligence 在 2026 年 7 至 9 月的三輪調研(385 名受訪者)顯示,79% 的企業表示其 GPU 至少一半時間完全閒置,這一比例三個月穩定在 77% 至 81%。但在這批企業中,70% 仍計劃未來 12 個月引入、擴充或更換 AI 計算平台;計劃採用新平台的受訪者中有 91% 拿不出經財務部門稽核的 ROI 資料。新採購意向中 90% 投向公有云與模型 API,僅 8% 考慮擴建本地私有叢集。

Hugging Face blog● 精選AI 評分69

Ai2 用 GPU 時間預算替代優先順序排程

Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。

TechCrunch AI● 精選AI 評分80

Google 開源 TorchTPU,PyTorch 應用改配置即可跑在 TPU 上

Google 宣布開源 TorchTPU,PyTorch 應用只需改配置、無需重寫程式碼,就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch,而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium,並向 PyTorch 主專案提交程式碼,把各項特性與 Nvidia 晶片解耦。

Hacker News front page● 精選AI 評分81

GPU-unlock 1.0.0 解鎖 RTX 30 系部分顯示卡 FP/BF16 速率

GPU-unlock 1.0.0 發布,這個 Linux 核心模組能在 NVIDIA 驅動繫結前解鎖 GA102/GA103/GA104/GA106(RTX 30 系部分顯示卡)的 FP/BF16 指令發射速率,使其達到專業卡水平。3090 Ti 實測 BF16 GEMM 從 87.50 升至 157.41 TFLOPS,FP16 從 87.46 升至 118.39,TF32 從 42.58 升至 82.61;

Google Developers blog● 精選AI 評分69

Google 補全 Coral NPU 開源架構,邊緣推理 1 TOPS、功耗 10 mW

Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構,新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS,平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器,JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU,不必手寫彙編,從模型到晶片共用一條開源工具鏈。

Hacker News front pageAI 評分69

Intel 公布 D270 推理 GPU:480GB 記憶體、350W 風冷

Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。

Google Developers blog● 精選AI 評分68

Google 發布 ML Drift:端側通用 GPU 推理框架

Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。

NVIDIA blogAI 評分61

NVIDIA 發布 Minerva,為 AI 工廠提供端到端可觀測性

NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。

Apple Machine Learning Research● 精選AI 評分69

Minions:聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲

一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。

r/LocalLLaMA top of the dayAI 評分42

專用推理引擎興起,放棄通用性換極致效能

近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。

The Verge AIAI 評分51

首批 RTX Spark 筆記本發布:Arm 晶片,Windows 專門最佳化

微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會,這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構,而非 AMD、Intel 傳統的 x64,並搭配高效能 GPU,定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作,讓 Windows 適配這批新機器。

Hacker News front pageAI 評分73

AI 設計的開源加速卡 openTPU 跑通十餘款模型

一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。

量子位● 精選AI 評分66

明星研究者創辦的 Neolab 開始轉售 GPU 算力

一批明星研究者創辦的 Neolab 在模型遲遲沒跑出來的情況下,把融資後提前鎖定的算力轉手賣出,做起了轉售 GPU 的生意。具體做法有三種:溢價轉手 1 至 3 年長期算力租約、按天或按周拆賣閒置 GPU 例項,以及直接用開源模型提供按 token 計費的推理 API;背景是 H200 現貨租金一度上漲約 160%、B200 漲 120%、H100 仍有約 35% 溢價。Dealroom 統計的 29 家典型 Neolab 累計融資 230 億美元,真正推出商業化產品的不到 35%,馬斯克則評論當下缺的是電而不是卡。

Hacker News front page● 精選AI 評分84

Google 開源 TorchTPU,為 TPU 提供 PyTorch 原生後端

Google 開源 TorchTPU,讓 PyTorch 模型可直接跑在 TPU 上,PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取,支援資料並行與張量並行分散式訓練,並接入 torch.compile() 圖模式執行,附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+,Marimo 互動筆記本需在 TPU VM(如 v6e 例項)上執行。

llama.cpp releasesAI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

NVIDIA blogAI 評分62

Google Cloud 宣布 Vera Rubin A5X 例項下月正式可用

Google Cloud 與 NVIDIA 宣布 Vera Rubin 基礎設施正式可用,A5X 例項將於下月上線,並計劃擴充套件至歐洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Virgo 網路與第四代液冷,面向大規模 agentic 推理與強化學習,Google Cloud 計劃在多個站點部署最多 96 萬塊 Rubin GPU。

Latent Space● 精選AI 評分65

SF Compute 要把 GPU 算力做成可程式設計的資料中心

SF Compute CEO Evan Conrad 在 Latent Space 播客中表示,其平台不只買賣 GPU 小時的現貨與遠期,還負責物理交付:買家拿到的是能直接跑負載的算力,而非對指數的現金結算。為此公司自建了雲的大部分運營能力,處理可中斷性、儲存恢復速度、GPU 代際與網路軟體配置等同時影響合約和價格的約束。他還提到可線上切分 InfiniBand 網路,以及此前 2.45 億美元的算力銷售。

Google Developers blogAI 評分60

TorchTPU 把原生 TPU 後端接入 PyTorch

TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch,開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件,在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端,便於在 TPU 上擴充套件自有負載。

機器之心AI 評分51

奧特曼提 AI 競賽三種終局,最壞可癱瘓對手 GPU

OpenAI CEO 奧特曼在內部員工會議上提出 AI 競賽的三種終局:建立全球監管機構、頂級實驗室合併為一,以及一家公司率先突破關鍵技術。最極端情形下,率先突破的公司甚至能讓競爭對手的 GPU 集體癱瘓,奧特曼稱這是「糟糕透頂」的結局。前兩條分別參考 IAEA 與 CERN 模式;他也承認 OpenAI 目前無法輕易放棄技術領先爭奪。

llama.cpp releasesAI 評分43

llama.cpp 將 ggml-cpu 的 concat 重寫為單一 row kernel,覆蓋全部型別

llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel,所有型別共用一套實現,量化型別也包含在內:稠密源行只需一次 memcpy,轉置源則按元素逐個複製,元素大小在編譯期已知。行不再只沿 i2 維度切分(該維度常為 1),而是按 32 行一組分塊分給多執行緒;遇到轉置源時在外層迴圈遍歷元素,讓同一 tile 的各行讀取相鄰地址。

Ollama releasesAI 評分26

v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫

v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄,消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄;MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包,並在發布打包流程中校驗這些依賴。

NVIDIA blogAI 評分43

NVIDIA RTX Spark 發布,一臺面向本地 AI 的 Windows PC

NVIDIA 將於 10 月 16 日正式發布 RTX Spark,一款面向創作者、玩家和 AI agent 的 Windows PC,主打本地 AI 效能。Tom's Hardware、TrustedReviews 等媒體評測稱其遊戲與本地 AI 表現突出,Artificial Analysis 也提供了獨立測試資料。當天舊金山、柏林、臺北、北京、首爾、伊斯坦布林等地舉辦發布活動,多數需提前報名,北京場通過微信報名。

機器之心● 精選AI 評分83

崑崙萬維開源 Matrix-Game 4.0:單張 RTX 5090 即時跑 AI 遊戲

崑崙萬維發布並開源 Matrix-Game 4.0,稱其為全球首個可在消費級顯示卡上即時執行的影片大模型遊戲。基於 Wan2.2 5B 改造,單張 RTX 5090 上以 480p 實現 60 FPS 遊戲執行,按鍵到畫面端到端延遲低於 150ms,1 步去噪穩態生成 83 FPS,視訊記憶體峰值約 18.5 GiB。作為對比,輝達同期 StreamRender-H3 需 8 張 GB200,互動延遲約 500ms。開源內容包括模型權重和可由開發者直接修改、擴充套件的遊戲程式碼。

Hacker News front pageAI 評分74

RTX Spark 筆記本裝上 Arch Linux,116GiB 記憶體池由 CPU 與 CUDA 共用

官方只支援 Windows 的 ASUS ProArt P16(128GB 記憶體版)已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作,補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動,做出可啟動映象,並擴充套件 Archinstall 4.5 來安裝硬體支援;7-Zip 單執行緒成績與 Windows 基本持平,20 執行緒壓縮約領先 5%、解壓約領先 3%。