找到 3 筆；也可以試試 語意搜尋
百度發布 ERNIE 5.5 Flash Base：總引數 280B、每 token 啟用 14B 的稀疏 MoE 基座模型，權重停在預訓練結束、未做任何中期或後訓練。它在 33.5T token 上從零預訓練，訓練上下文最長 128K，微調與推理支援 1M token。架構上用 MLA 與強壓縮注意力 HCA 混合，只有七分之一層保留 token 級全上下文，其餘層把每 128 個 token 壓成一個快取條目，以壓低 KV cache 和長上下文開銷。
11 月 5 日，百度開放預訓練基座模型文心 5.5 Flash Base 的權重。它是一個稀疏 MoE 模型，總引數 280B，每個 token 啟用 14B，在 33.5T tokens 上從零預訓練，已上線 Hugging Face 並提供 FP8 與 BF16 版本，vLLM、SGLang 也給出了部署 cookbook。訓練上下文為 128K，微調與推理階段可外擴到 1M tokens；
11 月 5 日，百度開源基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。它採用 MoE 架構，總引數 2800 億、每 Token 啟用 140 億，用 33.5 萬億 Token 預訓練，預訓練上下文最高 128K，微調與推理支援最長 100 萬 Token；在知識、推理、數學、程式碼、多語言和長上下文等基準上取得同尺寸 SOTA，超過 DeepSeek-V4-Flash-Base 等。模型已在 Hugging Face 開放，面向開發者與企業微調定製。