找到 12 筆
r/LocalLLaMA 使用者集中討論名為 Strata 的推理方案，稱其是專為 Qwen 3.8 Flash Next 打造的 llama.cpp 分支，面向 12GB 以上視訊記憶體的 GPU。使用者實測在 16GB 視訊記憶體、24GB 視訊記憶體及 64GB 記憶體等配置上可執行該開源模型，有人報告解碼約 82 tok/s、60 tok/s 或 1200pp，並稱速度約為 Qwen 3.8 27B 在 llama.cpp 上的兩倍。也有人質疑相關帖子是機器人營銷，討論其是否為炒作。
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
清華團隊開源後訓練模型 VeriLoop E2，由獨立外部 Verifier 決定候選狀態能否獲得提交資格，而非依賴模型內部置信度。該模型以 Qwen 3.8-27B 為基礎，面向程式碼、數學與物理三類可外部驗證任務，並同步發布標準權重與覆蓋 BF16 至 IQ1_M 的 GGUF 量化版，其中 Q6_K 為 20.566 GiB，比 BF16 小 58.96%。
千問正式上線 Personal Agent 能力千問 Go，可代替使用者訂票、預約汽車保養、預訂球場、辦理電商價保退差價，甚至與真人客服多輪交涉索賠。灰度使用者案例顯示，千問 Go 在使用者記不清航班號的情況下登入購票平台翻訂單、聯絡人工客服鎖定延誤班次，把 70 元代金券補償談成現金；另有使用者拿到 52 元保價退款。該能力基於 9 月雲棲大會發布的 Qwen 3.8 Agentic 模型，長在千問 APP 內，除登入帳號等操作外基本無需使用者介入。
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
一篇部落格文章指出，自託管 AI 在成本上並不比使用 API 便宜，但作者依然選擇自建。作者強調不會把 200 GB 的郵件、訊息和位置歷史傳送給 API，即使對方承諾零資料保留。他還提醒，拿 200 美元訂閱與 Opus 5.5 或 Astra 對比 Qwen 3.8 27B 並非對等比較。
LM Studio 發布 v0.34.4，思考模型的結構化輸出改為單次處理，速度與可靠性提升。該版本修復了本地模型庫較大時偶發的 model not found 錯誤，以及 macOS 應用在檢測 ChatGPT 或 Codex 是否執行時無回應的問題。Apple Silicon 上 Qwen 3.8 提示處理更快，Gemma 4 會按圖選擇最佳解析度以保留高解析度細節，同時更新了 llama.cpp、MLX 與 XGrammar。
NVIDIA 宣布 DGX Spark 新增 64GB 統一記憶體版本，10 月 23 日由 Acer、ASUS、Dell、Gigabyte、HP、MSI 發售，起售價 4999 美元。該機型保留 GB10 Grace Blackwell 晶片、DGX OS 與完整 AI 軟體棧，支援最高 1000 億引數模型本地執行；兩臺可通過 ConnectX-7 直連組成 128GB 叢集，支援 2000 億引數模型，官方 Qwen 3.8 27B 測試效能提升至 1.7 倍。
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
Reflection 發布首個開放權重模型 Beam：稀疏 MoE，總引數 501B、啟用 23B，面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token，RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱，官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍，接近 Qwen 3.8-Max，原始能力仍落後 Kimi K3；
r/LocalLLaMA 社群討論過去一週的 jev 模型熱潮是否該翻篇，並分享實際用例。有使用者用 jev 做論文證據定位和倉庫惡意行為掃描，也有使用者將其接入語音桌遊引擎，用 decider 4b 替代 Gemma 雙階段流程後延遲從 4-8 秒降至 2-3 秒。但有人實測 jev 及同類模型準確率持續低於 80%，而 Qwen 3.8 27B 達 95%、100b+ 模型達 100%。