LittleBit 開源亞 1-bit 量化官方實現，LittleBit-2 新增 Joint-ITQ 初始化
LittleBit 專案放出論文官方實現，可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight，推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化，通過 --use_itq 開啟，只改初始化、不增加推理開銷，並支援 SmoothSign 量化感知訓練與可選殘差分解。
論文官方實現開源，把 LLM 權重壓到 0.1 bit 仍保持原架構推理，並新增只改初始化、無推理開銷的 Joint-ITQ 開關，對做極低位元量化和本地部署大模型的人有直接參考價值。
原標題：Sub-1-Bit LLM Compression via Latent Factorization
閱讀原文
| 評分 | 75 / 78（平均 76，門檻 76） |
|---|---|
| 狀態 | 精選 |
相關報導
LocalLLaMA 討論：大模型用 IQ1_S 量化到底行不行
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
哈工大深圳與 NUS 提出 QuantWM，2-bit KV Cache 壓縮 6.2 倍
哈工大（深圳）與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM，面向影片世界模型，實際壓縮最高 6.20 倍。研究指出，現有量化方法在 VBench 等指標上接近 BF16，畫面卻仍有閃爍、模糊和失真，原因是 Key 的量化誤差改變了注意力分數排序，使模型選中不同的歷史幀或影像塊。
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
研究：LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援
llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。