Latent Space 專訪 MIT Alex Zhang:談 RLM 與 agent 叢集
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。
找到 10 筆
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。
Meta 披露其 Muse 系列基礎模型(含 Muse Wonder)在俄亥俄州 New Albany 的千兆瓦級超算叢集 Prometheus 上完成訓練。該叢集擁有數十萬塊 GPU,預訓練 goodput 達 85% 以上、強化學習 90% 以上,Muse Wonder 訓練期間平均約 4.7 萬 GPU 小時才出現一次中斷。Meta 還附上了介紹 Prometheus 技術細節的連結。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架,其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax,最佳化目標是滿足服務要求的達標輸出吞吐;另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%,官方註明屬收益測算範例。
DeepSeek 官方表示將與開源社群緊密合作,為 V4.1-Flash 提供推理支援,並探索更多部署方案。官方同時提出可承接 2000 塊 GPU 加儲存叢集的大規模部署需求,並附上模型與論文連結。
Mistral 放出 Mistral Large 4 預覽版:1 萬億總引數、490 億啟用引數,在自建 3800 塊 NVIDIA Grace Blackwell GPU 叢集上訓練。預覽版目前只通過 Mistral API 提供,官方承諾月底發布開放權重版本。該 API 僅支援 none 和 high 兩檔推理等級,high 檔生成同樣題目時用了 2717 個輸出 token,反而少於 none 檔的 3275。
SF Compute CEO Evan Conrad 在 AI Engineer NYC 上介紹了把資料中心做成可程式設計算力市場的思路。過去自建 GPU 超算叢集需要 5000 萬至 1 億美元前期投入,並要自己打通從硬體、韌體到核心的整棧;如今使用者可在其平台買賣當下與未來的 GPU 小時,按能否中斷、儲存恢復速度、GPU 代際與網路配置等約束撮合訂單。平台強調按物理資產進行交割,也就是向買方交付真正可用的算力,無須按價格指數支付現金;
斯坦福教授 John Ousterhout 在 AI Engineer 演講中提出 Homa,一種面向資料中心的全新傳輸協議,認為 TCP 和 RDMA 正成為 AI 叢集的瓶頸。他指出 AI 負載已從大流量梯度傳輸轉向 KV cache 查詢、屏障同步等小訊息協調,這類訊息對延遲敏感,一旦與大數據流混排就會陷入 incast 佇列,拖高尾延遲並讓 GPU 空轉。Homa 基於訊息而非位元組流,採用接收端驅動的擁塞控制,並用 SRPT 優先排程短訊息。
商湯大裝置日均 Token 服務量已達 6 萬億,並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集,用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU,並支援節點角色動態切換,在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離,後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
MaxText 團隊用 JAX/XLA 在 Google Cloud TPU 上從零復現了 Ai2 的 Olmo 3 7B 語言模型,預訓練與中期訓練各階段在所有留出評測上均與原始 PyTorch-on-GPU 參考結果精確一致。實現最高達到 57.4% 的模型浮點運算利用率(MFU),並在不修改訓練配方的情況下經受住執行中叢集擴縮容與跨代 TPU 切換。該案例還暴露出一個資料載入器記憶化 bug,它人為壓低了訓練損失,靠完整留出驗證才被發現。