依意思最接近的 20 筆
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。
有使用者報告，用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s，編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s，且該使用者認為品質明顯更好，但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果，DDR5 平台則顯著更快。
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試：RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s，約 2.8 倍；SGLang 整體快於 vLLM，但同一匯出上 vLLM 快 16%。
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除，評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5，也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp，未來或支援從磁碟流式載入專家。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型，發現目標識別與定位可達 100%、操作語義理解接近 100%，但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片，但拿不到物體座標與專家軌跡，需自行決定是否消耗步數切換視角，並直接給出移動距離、旋轉角度與夾爪開合時機。
openJiuwen 團隊發布自演進模型路由技術 X-Router，在 PinchBench 全量 147 個任務實測中，靜態路由得分 66.3%、成本 $8.25，相比全量呼叫 Kimi-K2-Thinking 的 71.36%、$11.11，成本降低 44.6%。該技術基於五檔複雜度分檔路由，用本地 Qwen3-0.6B 做程序內分類器，支援端雲分級與 Bandit 自演進，並已接入 WorkSwarm 的 MoA 多模型協同。
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1，總引數 78B、啟用 3.46B，支援最高 100 萬 token 上下文，採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練（約 62.5% 英語、23.9% 德語、13.6% 程式碼），在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B，適合 96GB 視訊記憶體本地部署，但目前尚無量化版本。
開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense，在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode，目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援，面向優先速度而非智慧的負載；作者自行量化模型並以 Apache 2.0 發布，稱 unsloth 的 GGUF 也可用但效能較低。
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
Cloudflare 在生日周宣布，將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI，現已開放訪問申請。EuroLLM 覆蓋 35 種語言，含全部 24 種歐盟官方語言；Apertus 由瑞士 ETH Zurich、EPFL 等開發，訓練資料超 15 萬億 token、覆蓋 1500 多種語言，權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊，首場 10 月在新加坡舉行。
Ai2 開源了 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，已作為 Asta 的 Fast 模式上線。官方稱 Fast 模式平均 51.1 秒生成一份報告，比 Claude 驅動的 Thinking 模式 178.5 秒快約 3.5 倍。模型權重、訓練資料與範例工作流一併開放，機構可在自有基礎設施上本地生成報告。
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
微軟推出 FrogNano-4B-2609，一個面向低視訊記憶體裝置的程式設計智慧體模型，基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程，用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習，不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫，產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。
Ai2 於 2026 年 10 月 2 日開源 AstaBrief 8B，一個把研究問題與檢索文獻片段轉成帶引用報告的模型，基於 Qwen3-8B 訓練，採用 SFT 加 DPO 而非強化學習。它已作為 Asta 的 Fast 模式上線，與 Claude 驅動的 Thinking 模式並列，整條流水線平均每份報告 51.1 秒，比 Thinking 模式的 178.5 秒快約 3.5 倍。