搜尋

LittleBit 開源亞 1-bit 量化官方實現，LittleBit-2 新增 Joint-ITQ 初始化

LittleBit 專案放出論文官方實現，可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight，推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化，通過 --use_itq 開啟，只改初始化、不增加推理開銷，並支援 SmoothSign 量化感知訓練與可選殘差分解。