llama.cpp releases10/6 20:08AI 評分42
llama.cpp 發布 b11450:RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450,RPC 後端新增 -sm tensor 選項(#26610),支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題,把 graph_uids 移入 rpc_dispatcher,停止 dispatcher 執行緒空轉,並提升 RPC 主版本號。
找到 1 筆;也可以試試 語意搜尋
llama.cpp 發布 b11450,RPC 後端新增 -sm tensor 選項(#26610),支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題,把 graph_uids 移入 rpc_dispatcher,停止 dispatcher 執行緒空轉,並提升 RPC 主版本號。