llama.cpp releasesAI 評分42
llama.cpp 對 MoE amax 架構停用 -sm tensor 張量拆分
llama.cpp 建置 b11858 起,對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分(#31081):amax 的 POOL_1D 歸約跨越整個 matmul 行,單個裝置無法從 axis-0 拆分中算出結果,因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
找到 2 筆;也可以試試 語意搜尋
llama.cpp 建置 b11858 起,對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分(#31081):amax 的 POOL_1D 歸約跨越整個 matmul 行,單個裝置無法從 axis-0 拆分中算出結果,因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
llama.cpp 發布 b11450,RPC 後端新增 -sm tensor 選項(#26610),支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題,把 graph_uids 移入 rpc_dispatcher,停止 dispatcher 執行緒空轉,並提升 RPC 主版本號。