11 月 5 日，百度開源了預訓練基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。這是一個稀疏 MoE 語言模型，總引數 280B，每個 token 啟用 14B，在 33.5T token 上從零預訓練，訓練上下文最長 128K，微調與推理階段可擴充套件至 100 萬 toke… 看完整事件
百度開源 280B MoE 基座模型 ERNIE 5.5 Flash Base
百度發布 ERNIE 5.5 Flash Base：總引數 280B、每 token 啟用 14B 的稀疏 MoE 基座模型，權重停在預訓練結束、未做任何中期或後訓練。它在 33.5T token 上從零預訓練，訓練上下文最長 128K，微調與推理支援 1M token。架構上用 MLA 與強壓縮注意力 HCA 混合，只有七分之一層保留 token 級全上下文，其餘層把每 128 個 token 壓成一個快取條目，以壓低 KV cache 和長上下文開銷。
開放的是預訓練剛結束的原始基座權重，280B 總引數僅啟用 14B、配合 128 倍壓縮的混合注意力，為要做領域適配與 RL 研究的團隊省下大規模預訓練成本。
原標題：Baidu dropped ERNIE 5.5 Flash Base
閱讀原文
| 評分 | 86 / 86（平均 86，門檻 76） |
|---|---|
| 狀態 | 精選 |
相關報導
兩臺 128GB Strix Halo 迷你主機各跑一個 300B 級 MoE 模型
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo（gfx1151、ROCm）打造，讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上，GLM 預填充 580 tok/s、解碼 26-30 tok/s，MiMo 解碼最高 44 tok/s（程式碼場景）。
Ollama 上線 40B MoE 開源模型 Flint，主打端側程式設計
Ollama 上線由 Recursive SI 開發的約 40B 引數 MoE 開源模型 Flint，面向端側 agentic coding 場景。官方給出短上下文下的生成速度：M4 Pro MacBook Pro 上超過 125 tps，64GB 視訊記憶體的 NVIDIA RTX Spark 上超過 150 tps。
Reflection 發布 501B-A23B 開源 MoE 模型 Beam，權重本月以 Apache 2.0 放出
美國初創公司 Reflection 發布開源權重模型 Beam：501B 總引數、23B 啟用的文字 MoE，面向 coding、agentic 與科研任務，Apache 2.0 全權重本月放出。官方稱預訓練用了 23.8T token，在約 10500 張 GB300 上各跑四周預訓練與 RL，SWE-bench Verified 得分 80.9，推理效率為 GLM 5.2 的 3 到 4 倍。
Aleph Alpha 發布 Kolibri-1：78B 引數 MoE 開源模型，Apache 2.0
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1，總引數 78B、啟用 3.46B，支援最高 100 萬 token 上下文，採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練（約 62.5% 英語、23.9% 德語、13.6% 程式碼），在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B，適合 96GB 視訊記憶體本地部署，但目前尚無量化版本。
llama.cpp 新增 Kolibri-1 支援，78B 德語英語 MoE
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。