螞蟻百靈於 9 月 30 日發布、10 月 15 日正式開源 Ling-3.1-flash,主打把真實工作流裡的任務幹完,而非刷榜。模型總引數約 560B,每個 Token 僅啟用約 25B,上下文視窗最高支援 1M Token。架構延續 Ling-3.0-flash 的混合線性注意力設計,每 7 層 KDA 搭配 1… 看完整事件
螞蟻百靈開源 Ling-3.1-flash,主打長程複雜任務
螞蟻百靈於 10 月 15 日正式開源 Ling-3.1-flash,總引數約 560B、每 Token 僅啟用約 25B,上下文最高支援 1M Token,重點瞄準複雜任務與長程執行。據 Artificial Analysis 資料,其智慧指數 41,輸出約 210 Token/s,混合呼叫價格約每百萬 Token 0.19 美元;路由專家採用 MXFP4 量化後,權重從約 534GB 壓縮至 292GB,部署從 8 卡降至 4 卡。
螞蟻百靈公開了 Ling-3.1-flash 的長程執行實測:26 分鐘出遊戲原型、約六小時連續最佳化,並把 560B 級 MoE 權重壓到 292GB、部署降到 4 卡,對關注開源模型長程 Coding 與部署成本的人有直接參考價值。
原標題:让AI造城市,一口气干活十几个小时,蚂蚁百灵Ling-3.1-flash把AI带进真实工作流
閱讀原文
| 評分 | 76 / 76(平均 76,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
llama.cpp v0.6.0 支援 DFlash,Qwen3.8-27B 推理提速
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next,支援聊天、寫程式碼、讀圖和接入 coding agent,資料不出本機。官方實測 RTX 5070(12GB)在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s;RTX 3090(24GB)預計可達 100-140 tokens/s。