llama.cpp releases10/13 21:33AI 評分42 llama.cpp 為 Hexagon 後端加入可配置 HTP 功耗模式 llama.cpp 的 Hexagon 後端新增可配置的 HTP DCVS/HMX 功耗模式。該功能通過 run.py 的 --hex-power-mode 標誌暴露,對應環境變數 GGML_HEXAGON_POWER_MODE,沿用已有的 --hex-nhvx 模式。由於變數必須在程序接觸 Hexagon 後端登錄檔之前設定,官方沒有把它做成通用的 CLI 選項。同一 PR 還讓 HTP 在 DCVS 功耗配置下保持喚醒,並清理了註釋與日誌。 地端推論開源llama.cppHexagon NPUHTP本地推理功耗模式 閱讀原文
NVIDIA blog10/6 13:00AI 評分48 輝達報告:89% 電信運營商重視開源模型 輝達《State of AI in Telecommunications》報告顯示,89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製,用於自主網路、客服等關鍵負載,並把閉源模型留給價值最高的場景;輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model(由 AdaptKey 在開源電信資料集上微調),並提供基於 NeMo 的端到端微調流程。 模型開源開源模型NVIDIA Nemotron電信行業Nemotron 3 LTMAI 戰略 閱讀原文
NVIDIA blog10/1 13:00AI 評分25 輝達稱 Vera Rubin NVL72 每兆瓦吞吐量超 GB300 30 倍 輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。 產品與方案NVIDIAAI 工廠投資回報率Vera RubinCUDA 閱讀原文