百度開源文心 5.5 Flash Base，280B MoE 基座模型新
先了解這件事AI 綜述
11 月 5 日，百度開源了預訓練基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。這是一個稀疏 MoE 語言模型，總引數 280B，每個 token 啟用 14B，在 33.5T token 上從零預訓練，訓練上下文最長 128K，微調與推理階段可擴充套件至 100 萬 token。據機器之心報導，其權重已發布於 Hugging Face，同時提供 FP8 與 BF16 版本，vLLM、SGLang 也給出了部署 cookbook；模型共 43 層 Transformer、Hidden Size 4096、64 個注意力頭，預訓練使用 Muon 最佳化器與 FP8 混合精度。Hacker News 上的發布說明指出，開放的是預訓練結束時的 checkpoint，未做任何中期或後訓練，可作為領域適配、指令微調與強化學習的共同起點。架構上採用 Latent-Gated Sparse Attention，混合 MLA 與強壓縮注意力 HCA，只有約七分之一層保留 token 級全上下文，其餘層把每 128 個 token 壓成一個快取條目，以壓低 KV cache 與長上下文開銷；專家路由採用 Multi-Router Latent MoE，訓練目標引入 ECHO，複用主幹最後一層，也可作為投機解碼的草稿模型。
AI 根據 4 則報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
沒有符合條件的報導。
本事件熱度走勢
為什麼熱
過去 48 小時，有 3 個獨立來源報導，最近 6 小時新增 3 個。熱度 2.7，熱門榜第 3 名。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
事件紀錄
- 最早報導
- 最近更新
同一事件的報導集中在這裡，新的進展會繼續補充。