輝達報告:89% 電信運營商重視開源模型
輝達《State of AI in Telecommunications》報告顯示,89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製,用於自主網路、客服等關鍵負載,並把閉源模型留給價值最高的場景;輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model(由 AdaptKey 在開源電信資料集上微調),並提供基於 NeMo 的端到端微調流程。
依意思最接近的 13 筆
輝達《State of AI in Telecommunications》報告顯示,89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製,用於自主網路、客服等關鍵負載,並把閉源模型留給價值最高的場景;輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model(由 AdaptKey 在開源電信資料集上微調),並提供基於 NeMo 的端到端微調流程。
斯坦福教授 John Ousterhout 在 AI Engineer 演講中提出 Homa,一種面向資料中心的全新傳輸協議,認為 TCP 和 RDMA 正成為 AI 叢集的瓶頸。他指出 AI 負載已從大流量梯度傳輸轉向 KV cache 查詢、屏障同步等小訊息協調,這類訊息對延遲敏感,一旦與大數據流混排就會陷入 incast 佇列,拖高尾延遲並讓 GPU 空轉。Homa 基於訊息而非位元組流,採用接收端驅動的擁塞控制,並用 SRPT 優先排程短訊息。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援,並對兩者做了最佳化,還重構了 tiled topk kernel。這批改動隨建置 b11874 發布,覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。
OpenAI Devs 表示,團隊用 Rust 重寫服務層,降低了代理開銷。對認證後設資料這類每個請求都必需的小型關鍵資料集,團隊保留了廣泛複製;設定和應用狀態等高頻訪問資料則由區域內快取提供。推文列出這三項基礎設施最佳化,但未給出延遲、吞吐等具體數字或生效範圍。
普林斯頓大學教授 Elad Hazan 發表長文,回顧線上凸最佳化(OCO)二十年,串起 Online Newton Step、AdaGrad 等現代 AI 核心方法的脈絡。他回憶了與 Satyen Kale、John Duchi、Yoram Singer 合作提出 AdaGrad 的過程,以及 ONS 論文被 FOCS/STOC 拒稿的經歷;OCO 的 regret minimization 與自適應更新思想後來進入 bandit、線上控制與序列建模。
OpenAI CEO 奧特曼在內部員工會議上提出 AI 競賽的三種終局:建立全球監管機構、頂級實驗室合併為一,以及一家公司率先突破關鍵技術。最極端情形下,率先突破的公司甚至能讓競爭對手的 GPU 集體癱瘓,奧特曼稱這是「糟糕透頂」的結局。前兩條分別參考 IAEA 與 CERN 模式;他也承認 OpenAI 目前無法輕易放棄技術領先爭奪。
Manifold AI 流形空間的 WorldScape R²SI 框架在機器人學習基準 RoboDojo 的 Agent Track 登頂,超過 GPT-6-Astra 與輝達 GR00T-N1.7。該框架由內外雙層 Agent 組成,內層執行任務,外層跨輪次復盤、修訂 Skill 並訓練 reactive model(WSP)。在 push_T 任務中,動作步數從首輪 723 步(超出 600 步預算)降至 596 步,再降至 389 步,降幅約 35%。
獨立研究者 10 月 5 日發布初步發現,追蹤到一批並行的 AI agent,疑似執行在騰訊的基礎設施上,目標指向阿里巴巴的高德地圖服務,查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞,稱應叫 agent fleet:多個 agent 執行同類任務,彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的,該服務常被 agent 用來載入無法直接訪問的網站並留下記錄;研究仍在進行中。
OpenAI 開發者帳號披露,其與 Azure Cosmos DB 合作改造儲存架構,全球讀取延遲中位數改善 12 倍。該架構支撐其在 40 個地理區域、面向超過 12 億使用者的毫秒級資料服務。帖文只給出了延遲改善倍數和使用者規模,未說明具體延遲數值、改造週期和涉及的產品線。
阿波羅全球管理首席經濟學家 Torsten Slok 稱,AI 對科技行業以外的美國大企業帶來「零財務回報」。他考察剔除 Alphabet、Amazon、Apple、Meta、Microsoft、Nvidia、Tesla 後的標普 493 成分股,發現其利潤率與人均營收基本持平,沒有證據顯示 AI 提升了生產率。Slok 認為企業很難把日益廉價的智慧轉化為更高的營收與利潤率,因為商業中的智慧更多是判斷力;近期多項研究也未發現 AI 帶來顯著生產力增益。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。