X @ggerganov10/7 18:52AI 評分62
llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
找到 1 筆；也可以試試 語意搜尋
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。