X @Alibaba_QwenAI 評分33
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
搜尋
依意思最接近的 29 筆
r/LocalLLaMA top of the dayAI 評分68
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
X @Alibaba_QwenAI 評分43
Qwen3.8-Max 等三款模型在 GMI Cloud 限免一週
阿里 Qwen 宣布，Qwen3.8-Max、Qwen3.8-Flash 與 Wan3.0 在 GMI Cloud 上限時免費開放一週，活動已經上線。開發者可在此期間免費呼叫這三款模型進行建置與測試，官方在推文中邀請開發者探索可行的用法。
llama.cpp releasesAI 評分43
llama.cpp 更新：Qwen3.8 Flash Next 支援影像嵌入用於 MTP
llama.cpp 發布 b11588 建置，讓 Qwen3.8 Flash Next 模型可以接受影像嵌入（image embds）用於 MTP，該改動延續 #30257 並關閉 #30307。
X @ggerganov● 精選AI 評分75
llama.cpp v0.6.0 支援 DFlash，Qwen3.8-27B 推理提速
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash，以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF，並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度，只強調必須使用最新版本。
Hacker News front pageAI 評分62
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
Simon Willison● 精選AI 評分66
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗，169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
r/LocalLLaMA top of the dayAI 評分61
gufo 分支在 Strix Halo 上跑 Qwen3.6 35B A3B，prefill 達 3095tok/s
開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense，在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode，目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援，面向優先速度而非智慧的負載；作者自行量化模型並以 Apache 2.0 發布，稱 unsloth 的 GGUF 也可用但效能較低。
r/LocalLLaMA top of the day● 精選AI 評分80
實測 Qwen3.8 三版本：DFlash2 加速 2.8 倍
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試：RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s，約 2.8 倍；SGLang 整體快於 vLLM，但同一匯出上 vLLM 快 16%。
r/LocalLLaMA top of the dayAI 評分43
Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s
有使用者報告，用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s，編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s，且該使用者認為品質明顯更好，但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果，DDR5 平台則顯著更快。
X @ggerganov● 精選AI 評分77
@ggerganov: The new v0.6.0 release packs a lot of good stuff:
llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。
Hacker News front page● 精選AI 評分76
Qwen3.8-27B 在 iPhone 18 神經引擎上跑出 70 tok/s 峰值
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行，解碼速度 15–60 tok/s；作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16，峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2，從 1.585 bpw 重新量化為 1.5 bpw（每 4 個權重 6 位向量量化），並加入約 2.8 bpw 的 dflash-2 草稿模型加速，代價是接受率小幅下降。
r/LocalLLaMA top of the dayAI 評分11
r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除，評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5，也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp，未來或支援從磁碟流式載入專家。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
X @ggerganovAI 評分42
llama.cpp v0.7.0 發布，llama serve 新增懶載入與推測解碼
llama.cpp 發布 v0.7.0，作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化，並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。
Ollama releasesAI 評分42
Ollama v0.40.6 預發布：GGUF 新增 q2_0 量化型別
Ollama 發布 v0.40.6 預發布版，GGUF 格式新增 q2_0 張量與檔案型別，為更低位元的模型量化提供支援。該版本還修復了 Windows 上 runner 程序殘留（孤兒程序）的問題，並在 Ollama 雲端上線 clef，同時把 --ask 模式的提問鍵改為識別符號。更新由 jmorganca、dhiltgen、jberg5 提交，共 1 個 commit。
Latent Space● 精選AI 評分86
DeepSeek V4.1 Flash 上線：1M 上下文、MIT 許可
DeepSeek 上線 V4.1 Flash 1017，552B 總引數 / 16B 啟用 MoE，支援 1M token 上下文，MIT 許可，API 價格維持每百萬輸入 0.30 美元、輸出 1.20 美元，閒時半價。Artificial Analysis 智慧指數升至 45（+6），在開源權重模型中與 GLM-5.3 並列第二，僅次於 MiMo-V2.6-Pro；Code Arena WebDev 與 Agent Arena 均為開源第一。
量子位● 精選AI 評分82
螞蟻百靈開源 Ling-3.1-flash，主打真實工作流任務
螞蟻百靈開源 Ling-3.1-flash，主打把真實工作流裡的活幹完，而非刷榜。模型總引數約 560B、每 Token 啟用約 25B，上下文視窗達 1M；混合精度量化後權重佔用從約 534GB 降至 292GB，部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis，其智慧指數 41，輸出速度約每秒 210 Token，混合呼叫價格約每百萬 Token 0.19 美元，辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。
llama.cpp releasesAI 評分42
llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查
llama.cpp 發布 b11466，唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查（#28205）。該版本同步更新各平台預編譯包，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
機器之心● 精選AI 評分76
阿里千問 TRACE 讓 FP4 強化學習 Rollout 最高提速 5.4 倍
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
Hacker News front page● 精選AI 評分87
FLUX 3 Image Klein 開源發布，8GB 視訊記憶體可本地跑
Black Forest Labs 發布 5.6B 引數的開源權重模型 FLUX 3 Image Klein，支援文生圖、影像編輯和最多 10 張參考圖的多參考生成，並保留原生 4K 與邊界框控制。INT8 版本可在 8GB 視訊記憶體的 NVIDIA RTX 顯示卡上通過 ComfyUI 或 Diffusers 執行，蒸餾模型在 RTX 5090 上約 4 秒生成一張 1MP 影像，RTX 4070 上不到 9 秒。
Hacker News front pageAI 評分58
Google 取消 Gemini Flash 與 Pro 模型免費使用
Google 將停止 Gemini Flash 和 Pro 模型的免費使用，使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論，使用者對 Flash 被納入付費範圍尤為不滿，認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。
Hacker News front page● 精選AI 評分88
DeepSeek V4.1 Flash 開源發布：智慧指數 45、1M 上下文
DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max)，採用 MIT 許可，權重已上傳 Hugging Face，支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45，遠高於同類開源模型中位數 19；總引數 552B、每 token 啟用 16B，上下文視窗 1M token，輸出速度約 230 token/秒。
llama.cpp releasesAI 評分56
llama.cpp 支援 Nemotron：非標準 GQA 與 BPE 分詞器
llama.cpp 建置版本 b11819 新增 Nemotron 模型支援，可處理非標準 GQA 與 BPE 分詞器，併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料，分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。
llama.cpp releasesAI 評分45
llama.cpp 建置 b11786：CPU 上 f32 gelu_quick 不再依賴 fp16 查表
llama.cpp 發布 b11786 建置，ggml-cpu 後端的 f32 gelu_quick 與 geglu_quick 改為不依賴 fp16 查表直接計算，同時保留 GGML_GELU_QUICK_FP16 表路徑，並新增 VXE 的 gelu_quick 路徑。該版本還為 f32 CPU 核心補充 test-gelu-quick 測試，並從其中移除 inf/nan 輸入。
機器之心● 精選AI 評分76
螞蟻百靈開源 Ling-3.1-flash，主打長程複雜任務
螞蟻百靈於 10 月 15 日正式開源 Ling-3.1-flash，總引數約 560B、每 Token 僅啟用約 25B，上下文最高支援 1M Token，重點瞄準複雜任務與長程執行。據 Artificial Analysis 資料，其智慧指數 41，輸出約 210 Token/s，混合呼叫價格約每百萬 Token 0.19 美元；路由專家採用 MXFP4 量化後，權重從約 534GB 壓縮至 292GB，部署從 8 卡降至 4 卡。
llama.cpp releases● 精選AI 評分72
b11870: model: DSV4.1 flash (#31086)
llama.cpp 合併 b11870，加入 DeepSeek-V4.1-Flash（代號 deepseek41）支援。改動包括移除 MXFP8 路徑、把 Engram 錶轉為 BF16，並讓壓縮 KV 的讀取層在快取中只計算一次；Engram 行改為像 qwen4exp 那樣在計算圖內 gather，去掉主機端 gather，同時刪除 LLAMA_DSV41_KV_MIRROR 開關。
X @ollama● 精選AI 評分62
MiniMax M3.1 Flash 上線 Ollama 雲端，支援 1M 上下文
MiniMax M3.1 Flash 已在 Ollama 上線，可通過 Ollama Cloud 用 ollama run minimax-m3.1-flash:cloud 直接呼叫。官方稱該模型在美國託管、零資料保留，主打快速編碼與 agentic 工作流，支援影像理解和 100 萬 token 上下文視窗。它也能以 ollama launch claude 或 ollama launch codex 指定該模型，接入 Claude Code 與 Codex 使用。
X @ollama● 精選AI 評分75
DeepSeek-V4.1-Flash-1017 上線 Ollama Cloud
DeepSeek-V4.1-Flash-1017 已在 Ollama 上線，可通過 Ollama Cloud 呼叫，託管位於美國且承諾零資料留存。該模型在 agentic 任務上表現較強，同時單任務成本更低。