依意思最接近的 8 筆
開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。
據 wccftech 報導，Micro Center 現在要求購買 RTX 5090 的顧客簽署一份同意遵守禁出口政策的宣告表格，同時該卡價格已漲破 5000 美元。有使用者稱自己此前買過一臺含 5090 的整機，34 天后再想單獨購買時被經理告知已被無限期禁止購買任何 5090。此舉被認為是為了防止轉售和出口，讓更多普通顧客能買到現貨。
在單張 RTX PRO 6000 Blackwell 96GB 上，Qwen3.8-27B 用 DFlash2 草稿模型把 Spec-Bench 單使用者解碼從 75 tok/s 提到 210 tok/s，約 2.8 倍；NVFP4 比 BF16 快 2.2 倍。三款檢查點中 Flash-Next 預填充 22.4 秒、27B 為 97 秒，長上下文召回三者均滿分，BFCL 工具呼叫 27B 以 73.3% 領先。
NVIDIA DGX Spark 將新增 64GB 統一記憶體版本，10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 開賣，起價 4999 美元，保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 NVIDIA AI 軟體棧，可完全本地執行最高 1000 億引數模型。兩臺機器可用 QSFP 線經 ConnectX-7 直連，記憶體池化到 128GB，模型上限提到 2000 億引數；
NVIDIA 提出衡量 AI 工廠投資回報的三個變數：產能（每兆瓦吞吐與每 token 成本）、使用壽命和需求。它援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍；每兆瓦 AI 工廠造價約 6000 萬美元。
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上跑 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話 14–15 tok/s，比原方案約 7 tok/s 提升明顯。一次長編碼提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
開源推理引擎 TensorSharp 在 RTX 3080 Laptop（16GB 視訊記憶體）、32GB 記憶體加 SSD 的普通筆記本上跑起了 Qwen3.8 Flash Next 176B，無需 128GB 以上記憶體工作站或多 GPU。它靠量化加 MoE 感知的統一排程，協調視訊記憶體、記憶體、SSD 與快取分層。
MegaCapybara 是專為 RTX5090 打造的推理引擎，聚焦 Qwen3.8 27B，解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍：單路編碼可達 500+ t/s，12 個 agent 併發、800k 上下文時可達 2000+ t/s。它自帶權重格式與後設資料，載入前會展示各量化設定相對 BF16 的 KL 與 top-1% 損失，並支援智慧 VRAM-RAM-DISC 快取、Loop Guard 與圖形介面。採用 MIT 許可，原始碼與權重建置器稍後發布。