找到 3 筆；也可以試試 語意搜尋
11 月 5 日，百度開源基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。它採用 MoE 架構，總引數 2800 億、每 Token 啟用 140 億，用 33.5 萬億 Token 預訓練，預訓練上下文最高 128K，微調與推理支援最長 100 萬 Token；在知識、推理、數學、程式碼、多語言和長上下文等基準上取得同尺寸 SOTA，超過 DeepSeek-V4-Flash-Base 等。模型已在 Hugging Face 開放，面向開發者與企業微調定製。
百度開源基座模型文心 5.5 Flash Base，採用 MoE 架構，總引數 2800 億、每 Token 啟用 140 億，使用 33.5 萬億 Token 預訓練，預訓練上下文最高 128K，微調與推理階段支援最長 100 萬 Token。官方稱其在知識、推理、數學、程式碼、多語言與長上下文等基準上取得同尺寸模型 SOTA，超過 DeepSeek-V4-Flash-Base、Hy3-preview-Base 等。模型權重已發布於 Hugging Face，供開發者與企業微調定製。
11 月 5 日，百度開放預訓練基座模型文心 5.5 Flash Base 的權重。它是一個稀疏 MoE 模型，總引數 280B，每個 token 啟用 14B，在 33.5T tokens 上從零預訓練，已上線 Hugging Face 並提供 FP8 與 BF16 版本，vLLM、SGLang 也給出了部署 cookbook。訓練上下文為 128K，微調與推理階段可外擴到 1M tokens；