百度開源文心 5.5 Flash Base,2800 億引數 MoE 重新整理同尺寸 SOTA
百度開源基座模型文心 5.5 Flash Base,採用 MoE 架構,總引數 2800 億、每 Token 啟用 140 億,使用 33.5 萬億 Token 預訓練,預訓練上下文最高 128K,微調與推理階段支援最長 100 萬 Token。官方稱其在知識、推理、數學、程式碼、多語言與長上下文等基準上取得同尺寸模型 SOTA,超過 DeepSeek-V4-Flash-Base、Hy3-preview-Base 等。模型權重已發布於 Hugging Face,供開發者與企業微調定製。
公開 2800 億總引數、33.5 萬億訓練 Token、100 萬 Token 推理上下文等具體規格,並披露稀疏注意力、多路由 MoE 與 ECHO 等效率設計,對需要可微調開源基座的開發者有參考價值。
原標題:百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA
閱讀原文
| 評分 | 86 / 84(平均 85,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。
Meta 開源 816B 多模態 MoE 模型 Muse Spark Open
Meta 發布開放權重模型 Muse Spark Open,採用混合專家架構,總引數約 816B、每 token 啟用約 42B,可輸入文字、影像、音訊和影片,輸出文字,上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練,能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重,BF16 約 1.5TB,NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
Ollama 上線 40B MoE 開源模型 Flint,主打端側程式設計
Ollama 上線由 Recursive SI 開發的約 40B 引數 MoE 開源模型 Flint,面向端側 agentic coding 場景。官方給出短上下文下的生成速度:M4 Pro MacBook Pro 上超過 125 tps,64GB 視訊記憶體的 NVIDIA RTX Spark 上超過 150 tps。
DeepSeek V4.1 Flash 1017 發布:首個 CED 架構,1M 上下文
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
Claude Haiku 5.5 發布:1M 上下文,自適應思考預設開啟
Anthropic 推出 Claude Haiku 5.5(claude-haiku-5-5),面向高併發與低延遲場景。該模型提供 1M token 上下文視窗、128k 最大輸出 token,並支援通過 effort 引數調節的自適應思考。已在 Claude API、Amazon Bedrock、AWS 上的 Claude Platform、Google Cloud 和 Microsoft Foundry 上線。