找到 7 筆
llama.cpp 發布 b11953 建置版本，CUDA 後端新增針對 384 個專家的 Top-K MoE 融合運算元（#31288），由 Codex 輔助完成，可加速此類稀疏 MoE 模型在 NVIDIA GPU 上的推理。該版本同步放出 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 及驍龍 Adreno/Hexagon 等後端。
11 月 5 日，百度開放預訓練基座模型文心 5.5 Flash Base 的權重。它是一個稀疏 MoE 模型，總引數 280B，每個 token 啟用 14B，在 33.5T tokens 上從零預訓練，已上線 Hugging Face 並提供 FP8 與 BF16 版本，vLLM、SGLang 也給出了部署 cookbook。訓練上下文為 128K，微調與推理階段可外擴到 1M tokens；
StepFun 的旗艦模型 Step 5 Preview 已在 OpenRouter 上線，採用稀疏 MoE 架構（啟用 27B、總引數 600B），支援 100 萬 token 上下文，主打跨大型程式碼庫與文件的多步 agentic 任務，於 2026 年 10 月 8 日發布。定價為每百萬 token 輸入 1 美元、輸出 2.70 美元，快取命中率約 93.5%，實際加權平均輸入價約 0.096 美元。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017，這是首個基於自研 Causal Encoder-Decoder（CED）架構的稀疏 MoE 模型：552B 總引數，輸入啟用 8B、輸出啟用 16B，影像理解原生內建。
百度發布 ERNIE 5.5 Flash Base：總引數 280B、每 token 啟用 14B 的稀疏 MoE 基座模型，權重停在預訓練結束、未做任何中期或後訓練。它在 33.5T token 上從零預訓練，訓練上下文最長 128K，微調與推理支援 1M token。架構上用 MLA 與強壓縮注意力 HCA 混合，只有七分之一層保留 token 級全上下文，其餘層把每 128 個 token 壓成一個快取條目，以壓低 KV cache 和長上下文開銷。
Reflection 發布首個開放權重模型 Beam：稀疏 MoE，總引數 501B、啟用 23B，面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token，RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱，官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍，接近 Qwen 3.8-Max，原始能力仍落後 Kimi K3；
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。