找到 15 筆
清華大學翟季冬團隊的大模型訓練系統八卦爐 2（BaGuaLu-2）論文被 SC26 錄用，它用執行時自適應替代靜態的重計算與啟用解除安裝配置，把 MoE 訓練中的視訊記憶體尖峰壓在裝置上限以內。在 128 到 12,288 張海光 DCU 上訓練 188B 至 1.04 萬億引數模型，平均吞吐比基線高 1.14 倍，12,288 卡下總吞吐 2.012 EFLOPS、平均 MFU 32.9%（最高 35%），單次排程決策開銷低於 10 ms。
美國初創公司 Reflection 發布開源權重模型 Beam：501B 總引數、23B 啟用的文字 MoE，面向 coding、agentic 與科研任務，Apache 2.0 全權重本月放出。官方稱預訓練用了 23.8T token，在約 10500 張 GB300 上各跑四周預訓練與 RL，SWE-bench Verified 得分 80.9，推理效率為 GLM 5.2 的 3 到 4 倍。
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1，總引數 78B、啟用 3.46B，支援最高 100 萬 token 上下文，採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練（約 62.5% 英語、23.9% 德語、13.6% 程式碼），在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B，適合 96GB 視訊記憶體本地部署，但目前尚無量化版本。
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio，可直接在本地執行。它是一個 40B 的 MoE 模型，每次僅啟用 2.5B 引數，上下文視窗為 262K token，採用 Apache 2.0 許可，專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體，官方稱其基準測試表現相當出色。
Reflection 發布首個開放權重模型 Beam：稀疏 MoE，總引數 501B、啟用 23B，面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token，RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱，官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍，接近 Qwen 3.8-Max，原始能力仍落後 Kimi K3；
Meta 發布開放權重模型 Muse Spark Open，採用混合專家架構，總引數約 816B、每 token 啟用約 42B，可輸入文字、影像、音訊和影片，輸出文字，上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練，能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重，BF16 約 1.5TB，NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
德國 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri，Apache 2.0 許可，權重已上 Hugging Face。它採用 MoE 架構，總引數 78.1B，每 token 僅啟用 3.46B，支援德語和英語，原生上下文 262,144 token，知識截止 2026 年 6 月 18 日。模型在德國和芬蘭基礎設施上從零訓練，使用 768 塊 NVIDIA B200，訓練約 24 萬億 token，其中德語佔比超五分之一。
NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線，可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構，支援視覺輸入與推理，並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體，模型頁面位於 lmstudio.ai。
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
北京具身智慧公司自然意志發布 Natura-1：50B 引數的 MoE 模型，用 100 萬小時第一人稱人類經驗預訓練，在 100 毫秒控制迴路內驅動 20 自由度靈巧手。團隊放出包餛飩、貼手機膜等六段原速一鏡到底演示；在覆蓋 12 個能力維度的零樣本基準上，Natura-1 得 53.4 分（Base）與 59.1 分（Agentic），π0.5、GPT-6 Astra 在靈巧手平台上均未得分。
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
Liquid AI 發布 LFM2.5-24B-A2B：24B 引數、每 token 僅啟用 2B 的推理模型，面向端側私有 agent，權重開放，已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型，上下文從 32K 擴至 131K，詞表由 65K 翻倍到 128K，預訓練從 17T 擴到 33T token。
Cloudflare 推出開源權重決策模型 Clef-omni，能在一次 API 呼叫中同時接收音訊（wav/mp3）、影片（mp4/webm）、影像和文字輸入，模型基於 Qwen3-Omni-30B-A3B-Instruct 的 MoE 架構訓練 LoRA，權重已發布在 HuggingFace。官方稱純文字決策中位延遲約 130 毫秒、影像約 150 毫秒、音訊數百毫秒，含聲音的 21 秒影片約 1.5 秒。
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam，稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型，總引數 5010 億、啟用 230 億，預訓練用了 23.8 萬億 token，上下文視窗 100 萬 token；對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。