8GB 視訊記憶體使用者期待 Qwen4 35B A3B 等本地模型
一位只有 8GB 視訊記憶體和 16GB 記憶體的使用者在社群表示，只能期待 Qwen4 35B A3B 或類似模型，並希望藉助額外 n-gram 把 35B 擴充套件到 70B 以上。在此之前，他仍偏愛 Gemma 26B QAT，稱其速度穩定在 26 Tg/s。
原標題：POV 8GB VRAM + 16GB RAM folks checking locallama everyday:
閱讀原文
| 評分 | 18 / 25（平均 21，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
LocalLLaMA 網友曬本地跑模型硬體方案
r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平，評論區隨即給出多種低成本方案：2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s；雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文；CMP 170HX 視訊記憶體超頻可達 2TB/s，單流解碼約 60 tok/s。
TensorSharp 讓 176B MoE 模型跑在 16GB 視訊記憶體筆記本上
開源推理引擎 TensorSharp 在 RTX 3080 Laptop（16GB 視訊記憶體）、32GB 記憶體加 SSD 的普通筆記本上跑起了 Qwen3.8 Flash Next 176B，無需 128GB 以上記憶體工作站或多 GPU。它靠量化加 MoE 感知的統一排程，協調視訊記憶體、記憶體、SSD 與快取分層。
Strata 搭配 Qwen3.8 Next 讓慢記憶體跑出 45-70t/s
有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s，編碼時偶爾更高；同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近，DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定，並提醒不要用 Q2 權重。
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 12GB 上跑到 11–15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上跑 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話 14–15 tok/s，比原方案約 7 tok/s 提升明顯。一次長編碼提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
微軟發布 4B 智慧體模型 FrogNano，主打倉庫級編碼
微軟發布 FrogNano-4B-2609，一個面向算力有限開發者的 4B 智慧體模型，Hugging Face 上已有 GGUF 量化版本。它由 Qwen3.5-4B 派生，沿用 32 層混合 Gated DeltaNet 與門控注意力架構，後訓練為純文字、聚焦倉庫級軟體工程，用強化學習在約 1500 個 TaskPilot 生成的合成 SWE 環境上訓練，獎勵來自可執行測試，配套五工具的 Leaf harness。與行為蒸餾不同，它不訓練強模型的解題軌跡。