依意思最接近的 30 筆
LittleBit 專案放出論文官方實現，可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight，推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化，通過 --use_itq 開啟，只改初始化、不增加推理開銷，並支援 SmoothSign 量化感知訓練與可選殘差分解。
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
llama.cpp 發布 b11489，為 Hexagon NPU 的 Q6_K 權重反量化帶來加速，做法是再增加 2 倍迴圈展開，改動由 OpenCode 協助完成。該版本繼續提供 macOS/iOS、Linux、Android、Windows 多平台預編譯包，Snapdragon 版本可分別使用 CPU、Adreno GPU 與 Hexagon NPU，Windows arm64 另有 OpenCL Adreno 建置；
MLX 發布 0.32.4，Metal 後端新增 1-bit 仿射量化支援，mlx.core.fft 新增 stft 與 istft 音訊變換運算元。同版本加入 Python 3.15 與 3.15t 支援、整數整除原語 FloorDivide、SDPA 與 gated delta net 的 VJP，並新增 MLX_CONV_WINOGRAD 開關以停用 conv2d 的 Winograd 實現。
llama.cpp 合併 PR #29817，修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題：當 imatrix 擬合的最小值塌縮為最大值或範圍極小時，會產生無窮、NaN 或越界值，傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax]，並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試，對應 issue #29804。
llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
量子位發文吐槽，Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析，除 Coding 過擬合外，更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」，OpenAI 最早這麼做，同樣一句話的 Token 消耗比白話文少 70%；Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯，而 Gemini 因輸出風格正常、排版層級清晰，被社群視為少數還能正常溝通的 AI。
llama.cpp 的 HIP 後端把 64 行/128 執行緒的 MMQ tile 擴充套件到更多量化型別與 J 值組合，覆蓋 RDNA3.5（gfx115x）；此前該配置只在 J≤32 時使用，更大的 tile 會佔滿 LDS，無法讓每個 CU 再容納一個工作組。在 gfx1151 上對 100 個 MUL_MAT 形狀做三輪測試，中位提升 2.1%、最佳 26.0%，5 個 MUL_MAT_ID 形狀中位提升 8.0%。J=96 因未獲益被明確排除，其餘條目保持不變。
llama.cpp 建置 b11582 引入 ggml-zdnn 的 Q8_0 矩陣乘法原型，由 IBM 的 Aaron Teo 提交，並同步更新了 zdnn 文件。zdnn 面向 IBM Z（s390x）平台，目前這一支援仍屬初步原型。
開源專案 Strata 可在普通遊戲 PC 上本地執行 125B 引數的 Qwen3.8-Flash-Next，支援聊天、寫程式碼、讀圖和接入 coding agent，資料不出本機。官方實測 RTX 5070（12GB）在 Q2_0 量化下寫答案 94 tokens/s、讀 32K 提示 2650 tokens/s；RTX 3090（24GB）預計可達 100-140 tokens/s。
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
llama.cpp 建置 b11558 修復了 OpenCL 後端處理 Q4_K 量化權重時的映象大小限制：當權重映象超出裝置限制時改為回退，而不是直接失敗。同一批提交還修正了 q4_0 的廣播邏輯，並避免 rms_norm 中出現不完整的子組計算，提交者來自高通（qti.qualcomm.com）。
Anthropic 宣布投入 1 億美元，通過 Claude Frontier Academy 培養 10000 名 Frontier Deployed Engineers，目標在 2027 年底前完成。首批學員來自埃森哲、貝恩、凱捷、澳大利亞聯邦銀行、德勤、麥肯錫、摩根士丹利和諾和諾德等企業。按人數計算，人均培訓投入約 1 萬美元。
前 Google Cloud、SpaceX 工程師 Rama Afullo 創辦的 Satlyt 完成 800 萬美元種子輪，其衛星端 AI 軟體將於本週隨 SpaceX 火箭發射，與 Google 軌道資料中心原型 Project Suncatcher 同船。Satlyt 不造衛星硬體，只做讓衛星在軌執行 AI 模型的軟體層，定位類似衛星界的 VMware。
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
llama.cpp 發布 b11564 建置，Vulkan 後端為 CM2 matmul 專門化量化塊大小，並改用三元表示式避免 switch 降低帶來的開銷，同時澄清了相關注釋。該版本照例附帶全平台建置，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp 的 Hexagon 後端新增 tiled Q4_K 與 Q6_K 的 GET_ROWS 支援，使驍龍 Hexagon NPU 能對這兩種量化格式執行嵌入查表，同一提交還修正了 Q4_K 檢視的校驗邏輯。改動由 OpenCode 協助完成，已隨本次建置發布，覆蓋 Android arm64 與 Linux arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合包。
Jump Trading 的 LLM 研發負責人 Lucas Baker 表示，引入 OpenAI GPT-6 Astra 後，可交給 agent 的量化研究工作流在規模與複雜度上大幅提升，從日常寫程式碼擴充套件到需要執行數天、跨多資料來源的完整分析。過去需要頻繁人工指導與干預，現在團隊只需定義安全、可監控的環境與明確目標，讓 agent 自行尋找路徑，並在長任務中自我評估、遞迴改進。在受監管的金融行業，agent 產出的交易訊號仍按普通訊號處理，需人工稽核並納入嚴格控制的執行環境。
llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。
QuEra 今年春季部署了 Model Hardware Standard（MHS），讓 AI 代理 Claude 在人類設定的安全邊界內操作約 70 萬美元的精密硬體，把量子計算機雷射鎖的恢復時間從人工干預縮短到幾秒，且無需現場人員。該標準最初由 Anthropic 與 HHMI Janelia 合作發起。AI 代理還自行調優了鎖，並在單次執行中把能力擴充套件到第二個工作波長。
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排，在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次，MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊，重排感知的反量化也接入批次 prefill 的 GEMM。
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
開發者 roofkid 發布 Ninfer 4080，在 RTX 4080 16GB 上以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，實測最高 prefill 2720 tok/s、生成 262 tok/s。專案採用 DFlash2 推測解碼與 KV 壓縮，程式碼已在 GitHub 開源並提供 Docker 映象。
llama.cpp 建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法（MUL_MAT_ID）與 GEMM 的最小值處理錯誤，避免量化 MoE 模型在 GPU 上算出錯誤結果。同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID，不再走不支援的精度路徑。
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。