r/LocalLLaMA top of the day10/2 21:35AI 評分53
Micro Center 買 RTX 5090 需籤不得出口宣告
據 wccftech 報導，Micro Center 要求購買 RTX 5090 的顧客簽署一份宣告表，同意遵守不得出口政策，此時該卡價格已漲破 5000 美元。有使用者稱自己此前買過一臺含 5090 的整機，34 天后再去購買時被經理告知已永久失去購買資格，且每人只能買一張。
搜尋
依意思最接近的 11 筆
r/LocalLLaMA top of the day● 精選10/2 22:47AI 評分80
實測 Qwen3.8 三版本：DFlash2 加速 2.8 倍
有人在單張 RTX PRO 6000 上對三個 Qwen3.8 檢查點做了 10 項測試：RadixArk 27B NVFP4、orcarouter 27B Uncensored NVFP4 和 Flash-Next NVFP4。27B 配 DFlash2 草稿模型後 Spec-Bench 從 75 提到 210 tok/s，約 2.8 倍；SGLang 整體快於 vLLM，但同一匯出上 vLLM 快 16%。
r/LocalLLaMA top of the day10/3 02:33AI 評分42
RTX5090 專用推理引擎 MegaCapybara 發布，速度約為 Ninfer 兩倍
作者發布專為 RTX5090 打造的推理引擎 MegaCapybara，聚焦 Qwen3.8 27B，解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍：單任務編碼可達 500+ t/s，12 個 agent 併發、800k 上下文時可達 2000+ t/s。引擎具備 VRAM-RAM-DISC 快取管理、雙層 Loop Guard、帶後設資料的自研權重格式（可對比 BF16 顯示 KL 與 top-1% 損失）以及圖形介面，採用 MIT 許可，原始碼與權重建置器後續發布。
r/LocalLLaMA top of the day10/3 19:58AI 評分75
Ninfer 4080 讓 16GB 顯示卡跑 100k 上下文
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
NVIDIA blog10/1 14:00AI 評分25
輝達稱 Vera Rubin NVL72 每兆瓦吞吐量超 GB300 30 倍
輝達援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯：每兆瓦 token 數決定收益，A100 出貨六年後仍在商用，CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
r/LocalLLaMA top of the day10/3 07:49AI 評分68
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
NVIDIA blog● 精選10/2 14:00AI 評分80
NVIDIA DGX Spark 推出 64GB 版，10 月 23 日 4999 美元起
NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本，10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售，起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧，支援最高 1000 億引數模型本地執行；兩臺可通過 ConnectX-7 直連組成 128GB 叢集，支援 2000 億引數模型，官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。
r/LocalLLaMA top of the day10/3 21:06AI 評分70
176B MoE 模型在 16GB 視訊記憶體筆記本上跑通
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
Hacker News front page10/4 13:51AI 評分62
Strata 讓 125B 的 Qwen3.8-Flash-Next 在消費級顯示卡上執行
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
r/LocalLLaMA top of the day10/3 19:24AI 評分42
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
r/LocalLLaMA top of the day10/3 08:08AI 評分19
阿里買迷你主機搭 Qwen3.8 RAG，收到 2018 年舊 CPU
一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點，在 AliExpress 購買迷你主機，商家標稱 Intel N150 與 DDR4/DDR5，實際發貨為 2018 年的 Core i3-7020U（2 核 4 執行緒）加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索，使用者已發起信用卡拒付。