搜尋

llama.cpp 新增 NCCL 多節點張量並行支援

llama.cpp 建置 b12079 為多節點張量並行加入 NCCL 支援：CUDA 後端實現了一套跨程序的集合通訊後端介面，並在 RPC server 可用時啟用。