機器之心● 精選AI 評分86
百度開源文心 5.5 Flash Base：總引數 280B、每 token 啟用 14B
11 月 5 日，百度開放預訓練基座模型文心 5.5 Flash Base 的權重。它是一個稀疏 MoE 模型，總引數 280B，每個 token 啟用 14B，在 33.5T tokens 上從零預訓練，已上線 Hugging Face 並提供 FP8 與 BF16 版本，vLLM、SGLang 也給出了部署 cookbook。訓練上下文為 128K，微調與推理階段可外擴到 1M tokens；