llama.cpp 新增 NCCL 多節點張量並行支援
llama.cpp 建置 b12079 為多節點張量並行加入 NCCL 支援:CUDA 後端實現了一套跨程序的集合通訊後端介面,並在 RPC server 可用時啟用。
依意思最接近的 13 筆
llama.cpp 建置 b12079 為多節點張量並行加入 NCCL 支援:CUDA 後端實現了一套跨程序的集合通訊後端介面,並在 RPC server 可用時啟用。
沙利文與頭豹發布的《中國全棧 AI 雲服務市場報告 2026H1》顯示,2026 年上半年中國 Neocloud(新雲)市場近 50% 份額由商湯大裝置(SenseCore)拿下。其日均 Token 服務量已從年初的 4000 億增至 9 月底的 6 萬億,並計劃第四季度衝至日均 10 萬億。技術上它用 PD 分離做異構混推,國產卡跑 Prefill、高階 GPU 跑 Decode,整體推理價效比達主流高階 GPU 的 1.25 倍;
《Snow Crash》作者 Neal Stephenson 在 Core Memory 播客與 Ashlee Vance 對談約兩小時,坦言連自己都被這輪 AI 熱潮打了個措手不及。他討論奇點是否已經臨近、當下是否算 AI 的曼哈頓計劃時刻,並指出與中國的 AI 競賽存在熟悉的兩難:沒人願意在對手可能更快時放慢腳步。
NVIDIA 加入歐盟委員會在都柏林 AI in Science Summit 上啟動的 AI in Science Enablers 計劃,將向歐洲科研界開放加速計算工具、算力與培訓。NVIDIA 已開源 250 多個模型、250 個資料集與 1400 多個開源專案,包括 Nemotron、BioNeMo、PhysicsNeMo、Earth-2 和 ALCHEMI NIM,可用於 agentic 推理與科學計算。
Anthropic 上線 Claude Duet 研究預覽,首批面向美國 Pro 與 Max 訂閱者,需通過等待名單申請。同日的企業側訊息是 HCLTech 成為 Claude 合作伙伴網路的 Global Premier Partner,將 Claude 與 Claude Code 接入其 IT 服務平台 AI Force,並把 Claude 嵌入 BigFix、AppScan 等 HCLSoftware 產品。
輝達 Nemotron 開放模型正在歐洲多國公共部門投入使用:歐盟委員會的 AI@EC 平台由 deepset 擴充套件 Haystack,新增了執行成本對比、答案品質評估與問題追蹤;德國 secunet、Red Hat 與 deepset 基於 SINA Cloud 共建主權雲。英國 Locai Labs 與德國 Soofi 各發布 100 萬條合成人物資料集(德國版基於 2022 年人口普查,覆蓋 16 個州、400 個區),用於檢驗模型在地區與人群間的一致性。
在巴塞羅那 Smart City Expo 上,NVIDIA 與合作伙伴宣布把物理 AI 與智慧體 AI 擴充套件到全球城市,用於居民服務、視覺智慧體與基礎設施數字孿生。西班牙 1MillionBot 將 ALIA 開源模型與 Nemotron 用於市政服務智慧體,已有 150 多個部署;馬來西亞 ITMAX 的 SamurAI V2 視覺智慧體計劃到 2027 年支援 1.7 萬多路攝像頭,其 TeraSim 模擬把高峰通行時間最多縮短 26%。
輝達發布 Nemotron 3.5 系列開源權重模型,含 1200 億引數的企業 agent 模型 Super VL,以及面向本地 AI PC 和 DGX Spark 工作站的輕量 Bolt。輝達稱 Super VL 引數少於 Nemotron 3 Ultra,但在指令遵循與工具呼叫上準確率相近;針對文件智慧、財務、科研、醫保理賠等 agent 任務做後訓練後,完成任務快於 Anthropic 與 OpenAI 競品。
NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。
NVIDIA 擴充套件其開放模型家族,新增 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo 與 Ising 等模型。Nemotron 3.5 支援文字和影像,面向建置 agent,稱能以更低成本編排工作流、推理並完成專項任務;Kumo 則針對結構化業務資料做預測、欺詐風險評分和行動推薦。
輝達宣布計劃投資 Boltz、Foresight、Hiverge、Prima Mente 和 Riverlane 五家英國 AI 初創公司,並承諾五年投入 2.5 億美元算力,用於強化英國的 agentic 安全與安全研究。這五家公司分別做生物分子模型與藥物設計、超大規模資料中心等基建專案的完工預測、自動編寫並最佳化演算法的發現引擎、面向阿茲海默症等疾病的生物基礎模型,以及跨量子位元型別的即時糾錯軟硬體。
輝達正洽談為 AI 雲廠商 Nscale 位於西維吉尼亞的 Anthropic 資料中心提供數十億美元債務擔保,採用「殘值擔保」形式:Nscale 若拖欠建設款,輝達將臨時接管園區並協助尋找買家與新租戶。Anthropic 已為該專案首棟 460 兆瓦建築簽約 446 億美元,預計使用輝達下一代 Vera Rubin 晶片,雙方還在談第二棟約 450 億美元的合同。
純 Go 重寫的 Nexus-CLI 讓免費 DeepSeek 網頁帳號(chat.deepseek.com)接管 V3 與 R1 模型,無需官方付費 API Key。它的 nexus serve 同時提供 OpenAI 相容介面、Anthropic /v1/messages(作者稱與 Claude Code 100% 相容)和模擬 Ollama 的 /api/tags、/api/chat,可直接接入 Cursor、Cline、Open WebUI 等客戶端。