Hacker News front page● 精選AI 評分76
Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型，速度快過 llama.cpp
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
搜尋
找到 2 筆；也可以試試 語意搜尋
llama.cpp releasesAI 評分45
llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化
llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。