螞蟻百靈開源 Ling-3.1-flash,主打真實工作流任務
螞蟻百靈開源 Ling-3.1-flash,主打把真實工作流裡的活幹完,而非刷榜。模型總引數約 560B、每 Token 啟用約 25B,上下文視窗達 1M;混合精度量化後權重佔用從約 534GB 降至 292GB,部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis,其智慧指數 41,輸出速度約每秒 210 Token,混合呼叫價格約每百萬 Token 0.19 美元,辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。
給出 560B 總引數、25B 啟用、1M 上下文與每百萬 Token 0.19 美元的完整成本賬,並把量化後部署從 8 卡壓到 4 卡,對做辦公 Agent 與自建推理部署的團隊有直接參考價值。
原標題:这个双十一,百灵新模型干起活来不烧心
閱讀原文
| 評分 | 80 / 85(平均 82,門檻 65) |
|---|---|
| 狀態 | 精選 |
相關報導
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。
Cloudflare 將 EuroLLM 與 Apertus 兩個歐洲開源模型接入 Workers AI
Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
llama.cpp v0.6.0 支援 DFlash,Qwen3.8-27B 推理提速
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。
LiquidAI 發布 LFM2.5-24B-A2B:2B 啟用引數的端側 Agent 推理模型
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。