搜尋

llama.cpp b12000 新增 OCP FP8 E4M3 支援與 CPU 快速核心

llama.cpp 合併 b12000，為 OCP FP8 E4M3 打通模型轉換、gguf-py 讀寫與 CPU 推理路徑。轉換側修復了逐行 FP8 被誤判為 NVFP4、FP8 QKV 縮放需隨權重一同 reshape、Qwen3-Next 融合 qkvz 等問題，並支援僅含 FP8 的 compressed-tensor checkpoint。CPU 新增 F8_E4M3 快速核心（暫不含 RISC-V），Metal 後端暫時把 FP8 列入黑名單；