依意思最接近的 20 筆
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
llama.cpp 合併 PR #29817，修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題：當 imatrix 擬合的最小值塌縮為最大值或範圍極小時，會產生無窮、NaN 或越界值，傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax]，並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試，對應 issue #29804。
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
Jump Trading 的 LLM 研發負責人 Lucas Baker 表示，引入 OpenAI GPT-6 Astra 後，可交給 agent 的量化研究工作流在規模與複雜度上大幅提升，從日常寫程式碼擴充套件到需要執行數天、跨多資料來源的完整分析。過去需要頻繁人工指導與干預，現在團隊只需定義安全、可監控的環境與明確目標，讓 agent 自行尋找路徑，並在長任務中自我評估、遞迴改進。在受監管的金融行業，agent 產出的交易訊號仍按普通訊號處理，需人工稽核並納入嚴格控制的執行環境。
輝達援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯：每兆瓦 token 數決定收益，A100 出貨六年後仍在商用，CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
量子位發文吐槽，Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析，除 Coding 過擬合外，更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」，OpenAI 最早這麼做，同樣一句話的 Token 消耗比白話文少 70%；Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯，而 Gemini 因輸出風格正常、排版層級清晰，被社群視為少數還能正常溝通的 AI。
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
清華團隊開源後訓練模型 VeriLoop E2，由獨立外部 Verifier 決定候選狀態能否獲得提交資格，而非依賴模型內部置信度。該模型以 Qwen 3.8-27B 為基礎，面向程式碼、數學與物理三類可外部驗證任務，並同步發布標準權重與覆蓋 BF16 至 IQ1_M 的 GGUF 量化版，其中 Q6_K 為 20.566 GiB，比 BF16 小 58.96%。
Reddit 的 r/LocalLLaMA 版塊一則帖子被版主以違反第 3 條規則為由刪除，評論區仍在討論 8GB 視訊記憶體加 16GB 記憶體的低配硬體如何跑本地模型。有使用者提到 32GB 記憶體加 12GB 視訊記憶體可執行 LFM2.5，也有人建議 Ling 3.0 tiny 或 Gemma 配合 mmap。另有評論稱專家快取即將進入 llama.cpp，未來或支援從磁碟流式載入專家。
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點，在 AliExpress 購買迷你主機，商家標稱 Intel N150 與 DDR4/DDR5，實際發貨為 2018 年的 Core i3-7020U（2 核 4 執行緒）加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索，使用者已發起信用卡拒付。
Strands Labs 開源了 2B 引數的決策模型 Strands Decider 2B，權重已上 Hugging Face，訓練資料與指令碼一併公開。它基於 Qwen3.5-2B 去掉 LM head、換成約百萬引數的 pointer head 並加 rank-16 LoRA 微調，只能從給定選項中作答或打分，因此不支援編碼、聊天與摘要。