llama.cpp releasesAI 評分58
llama.cpp b11551 加入 MiniCPM-V 4.7 支援
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。
依意思最接近的 3 筆
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。
面壁智慧與 OpenBMB 開源 MiniCPM-V 4.7,其中 35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,約 3G 記憶體就能在 iOS、安卓裝置上流暢執行,iPhone 17 Pro Max 上解碼速度超過每秒 13 個 token。另有實際引數 1.3B 的 1B 版本,主打 OCR、數學與影片理解。
一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。