找到 3 筆；也可以試試 語意搜尋
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。
美國新實驗室 Reflection 開源首個模型 Beam：501B 引數 MoE，每 token 僅啟用 23B，支援 1M token 上下文，Apache 2.0 許可，主攻編碼與 agentic 場景。首日支援 transformers、SGLang 與 vLLM，提供 BF16、FP8、NVFP4 三種 checkpoint 及自研 Rust 推理 harness，並附 SFT 與 RL 微調配方。