llama.cpp 改進 RPC 張量傳輸日誌，修復命令名顯示
llama.cpp 合併 ggml RPC 張量傳輸日誌改進（#30481）：新增 rpc_log_format_size()，在客戶端、服務端與傳輸層日誌中以 KiB/MiB/GiB 列印位元組數；新增 rpc_log_format_tensor()，在 set/get/memset/copy/init 張量日誌中帶上張量名、運算元、型別與形狀。
原標題：b11624
閱讀原文
| 評分 | 42 / 42（平均 42，門檻 60） |
|---|
| 狀態 | 未入選 |
|---|
原文
ggml : improve RPC tensor transfer logs ( #30481 )
add rpc_log_format_size() and print byte counts in KiB/MiB/GiB across the
RPC client, server and transport traces
add rpc_log_format_tensor() and include tensor name, op, type and shape in
the set/get/memset/copy/init tensor logs
fix rpc_cmd_name() returning UNKNOWN for SET_TENSOR_2D, GET_TENSOR_2D,
COMM_INIT, COMM_ALLREDUCE and COMM_FREE
move the log helpers to ggml-rpc/log.{h,cpp} under a common rpc_log_ prefix
Assisted-by: pi:llama.cpp/Qwen3.8-Flash-Next
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/55989334
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releasesAI 評分37
llama.cpp 的 RPC 後端把 GGML_RPC_DEBUG 從開關改為詳細度等級：0 或未設定關閉除錯日誌，1-3 依次輸出事件、逐命令 trace 與傳輸細節，非數字值回退為 1。
llama.cpp releasesAI 評分42
llama.cpp 發布建置 b11562，修復原始碼拆分後 32 位平台上 Vulkan 緩衝區日誌無法輸出的問題：把 vk::Buffer 的流運算子移到共享標頭檔案，使 ggml-vulkan-debug.cpp 能引用到它。
llama.cpp releasesAI 評分40
llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
X @ggerganovAI 評分62
llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
llama.cpp releasesAI 評分40
llama.cpp 發布每日建置 b11592，ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出，並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取，程序內只查詢一次，不再每次呼叫重複讀取。