X @Alibaba_QwenAI 評分33
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
搜尋
依意思最接近的 30 筆
r/LocalLLaMA top of the dayAI 評分68
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
llama.cpp releasesAI 評分43
llama.cpp 更新：Qwen3.8 Flash Next 支援影像嵌入用於 MTP
llama.cpp 發布 b11588 建置，讓 Qwen3.8 Flash Next 模型可以接受影像嵌入（image embds）用於 MTP，該改動延續 #30257 並關閉 #30307。
Hacker News front pageAI 評分62
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
X @ggerganov● 精選AI 評分75
llama.cpp v0.6.0 支援 DFlash，Qwen3.8-27B 推理提速
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash，以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF，並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度，只強調必須使用最新版本。
r/LocalLLaMA top of the dayAI 評分43
Strata 搭配 Qwen3.8 Next 在 DDR4 平台跑出 45-70t/s
有使用者報告，用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s，編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s，且該使用者認為品質明顯更好，但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果，DDR5 平台則顯著更快。
X @Alibaba_QwenAI 評分43
Qwen3.8-Max 等三款模型在 GMI Cloud 限免一週
阿里 Qwen 宣布，Qwen3.8-Max、Qwen3.8-Flash 與 Wan3.0 在 GMI Cloud 上限時免費開放一週，活動已經上線。開發者可在此期間免費呼叫這三款模型進行建置與測試，官方在推文中邀請開發者探索可行的用法。
r/LocalLLaMA top of the day● 精選AI 評分80
實測 Qwen3.8 三版本：DFlash2 加速 2.8 倍
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試：RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s，約 2.8 倍；SGLang 整體快於 vLLM，但同一匯出上 vLLM 快 16%。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
Simon Willison● 精選AI 評分66
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗，169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
X @ggerganov● 精選AI 評分77
@ggerganov: The new v0.6.0 release packs a lot of good stuff:
llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。
r/LocalLLaMA top of the dayAI 評分11
r/LocalLLaMA 熱議 8GB 視訊記憶體跑本地模型的困境
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除，評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5，也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp，未來或支援從磁碟流式載入專家。
r/LocalLLaMA top of the dayAI 評分27
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
機器之心● 精選AI 評分78
8B 智慧體自主呼叫工具做影片生成，VABench 從 56.5 升到 86.1
VideoGen-Agent 用 Qwen3-VL-8B-Instruct 做基座，在多輪互動中呼叫檢索、生成與驗證工具，先以 16K 教師軌跡監督微調，再用 8K 提示做多工強化學習。在 600 條提示的 VABench 上，Toolset 1 配置得 75.6 分，比基礎生成器 56.5 分高出 19.1 分；智慧體策略不變、僅升級生成工具後達 86.1 分，人類評估中 84.3% 的判斷偏好該配置。
r/LocalLLaMA top of the dayAI 評分70
176B MoE 模型在 16GB 視訊記憶體筆記本上跑通
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
llama.cpp releasesAI 評分43
llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
X @Alibaba_QwenAI 評分6
阿里 Qwen 官方帳號發圖，正文無文字說明
阿里 Qwen 官方 X 帳號在 2026 年 10 月 9 日發布動態，正文只有「Pics:」一詞，隨附圖片，沒有任何文字說明。公開可見的文字裡沒有出現模型名稱、版本號、功能或發布時間，因此無法確認圖片指向哪款產品或更新。要了解具體內容只能檢視原帖圖片，後續說明有待官方補充。
r/LocalLLaMA top of the day● 精選AI 評分80
微軟發布 4B 程式設計智慧體模型 FrogNano
微軟推出 FrogNano-4B-2609，一個面向低視訊記憶體裝置的程式設計智慧體模型，基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程，用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習，不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫，產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。
llama.cpp releasesAI 評分50
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
r/LocalLLaMA top of the dayAI 評分75
Ninfer 4080 讓 16GB 顯示卡跑 100k 上下文
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
Hacker News front page● 精選AI 評分76
Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型，速度快過 llama.cpp
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
NVIDIA blog● 精選AI 評分88
NVIDIA 微軟發布 RTX Spark，Windows 筆記本可本地跑 125B 模型
NVIDIA 與微軟在舊金山活動上發布 RTX Spark，把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦，筆記本即日預售、10 月 16 日發售，桌上型電腦 11 月上市。
r/LocalLLaMA top of the dayAI 評分19
阿里買迷你主機搭 Qwen3.8 RAG，收到 2018 年舊 CPU
一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點，在 AliExpress 購買迷你主機，商家標稱 Intel N150 與 DDR4/DDR5，實際發貨為 2018 年的 Core i3-7020U（2 核 4 執行緒）加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索，使用者已發起信用卡拒付。
Cloudflare blog (AI)● 精選AI 評分77
Cloudflare 聯合 Exa、Linkup 上線 Web Search API
Cloudflare 與 Ceramic.ai、Exa、Linkup 合作，通過 AI Gateway 推出 Web Search API，讓 agent 用搜尋抓取即時網頁內容並注入上下文，而不是猜 URL 再 curl 而返回 404。呼叫計入 AI Gateway 額度與可觀測日誌，支援 BYOK 和 Zero Data Retention 標識，按合作方原價提供、不加價，可在 Workers 裡一行繫結或直接調 REST 端點。
r/LocalLLaMA top of the dayAI 評分61
gufo 分支在 Strix Halo 上跑 Qwen3.6 35B A3B，prefill 達 3095tok/s
開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense，在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode，目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援，面向優先速度而非智慧的負載；作者自行量化模型並以 Apache 2.0 發布，稱 unsloth 的 GGUF 也可用但效能較低。
llama.cpp releases● 精選AI 評分68
llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
Cloudflare blog (AI)● 精選AI 評分67
Cloudflare 發布 Clef-omni，可同時輸入音訊、影片、影像與文字
Cloudflare 推出開源權重決策模型 Clef-omni，能在一次 API 呼叫中同時接收音訊（wav/mp3）、影片（mp4/webm）、影像和文字輸入，模型基於 Qwen3-Omni-30B-A3B-Instruct 的 MoE 架構訓練 LoRA，權重已發布在 HuggingFace。官方稱純文字決策中位延遲約 130 毫秒、影像約 150 毫秒、音訊數百毫秒，含聲音的 21 秒影片約 1.5 秒。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造
llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。
Hacker News front pageAI 評分58
Google 取消 Gemini Flash 與 Pro 模型免費使用
Google 將停止 Gemini Flash 和 Pro 模型的免費使用，使用者需付費訂閱才能繼續使用。此舉在 r/GeminiAI 社群引發大量討論，使用者對 Flash 被納入付費範圍尤為不滿，認為 Flash-Lite 能力不足。部分使用者表示將轉向 ChatGPT、Claude 或 DeepSeek 等替代方案。