面壁開源 MiniCPM-V 4.7：35B MoE 約 3G 記憶體跑在手機上
面壁智慧與 OpenBMB 開源 MiniCPM-V 4.7，其中 35B-A3B 是 MiniCPM-V 系列首個 MoE 模型，約 3G 記憶體就能在 iOS、安卓裝置上流暢執行，iPhone 17 Pro Max 上解碼速度超過每秒 13 個 token。另有實際引數 1.3B 的 1B 版本，主打 OCR、數學與影片理解。
面壁首次把 35B MoE 壓到約 3G 記憶體，給出 iPhone 斷網實測速度與 OmniDocBench 領先 12 分的成績，對在手機本地跑多模態模型、做端側部署的開發者有直接參考價值。
原標題：iPhone断网跑35B多模态！国产开源新模型，只占3G内存
閱讀原文
| 評分 | 88 / 90（平均 89，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp b11551 加入 MiniCPM-V 4.7 支援
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援，mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取，GGUF 新增 rope.section_order 後設資料，並處理 grid layout 與相容性問題。
Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型，速度快過 llama.cpp
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
176B MoE 模型在 16GB 視訊記憶體筆記本上跑通
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
兩臺 128GB Strix Halo 迷你主機各跑一個 300B 級 MoE 模型
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo（gfx1151、ROCm）打造，讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上，GLM 預填充 580 tok/s、解碼 26-30 tok/s，MiMo 解碼最高 44 tok/s（程式碼場景）。