llama.cpp b11935 修復 RPC 接收訊息長度異常
llama.cpp 發布建置 b11935,為 RPC 的 recv_msg 加上對 std::length_error 的捕獲,避免接收異常訊息長度時丟擲未處理異常。同批放出各平台預編譯包,涵蓋 macOS 與 iOS XCFramework、Linux、Android、Windows 及 openEuler,其中 CUDA 12 版本連結 12.8 庫、CUDA 13 版本連結 13.4 庫。
原標題:b11935
閱讀原文
| 評分 | 35 / 40(平均 37,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 建置 b11865:RPC 的 RDMA 接收路徑增加邊界檢查
llama.cpp 發布 b11865 建置,唯一程式碼改動是在 RPC 的 rdma_recv 中增加邊界檢查(#30399),屬於對遠端呼叫收包路徑的加固。建置產物仍覆蓋 macOS/iOS、Linux(CUDA 12.8 與 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Android 以及 Windows arm64 的 Snapdragon CPU/Adreno GPU/Hexagon NPU 等平台。
llama.cpp 發布 b11450:RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450,RPC 後端新增 -sm tensor 選項(#26610),支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題,把 graph_uids 移入 rpc_dispatcher,停止 dispatcher 執行緒空轉,並提升 RPC 主版本號。
llama.cpp 建置 b12017 刪除 rpc 中的 fs_path_to_utf8()
llama.cpp 發布建置 b12017,主要變更是刪除 rpc 模組中的 fs_path_to_utf8() 函式。該版本照例提供各平台預編譯包:Linux 與 Windows 覆蓋 CPU、CUDA 12(12.4/12.8 庫)、CUDA 13(13.4 庫)、Vulkan、ROCm 10.0、SYCL 與 OpenVINO,另有 Android arm64、iOS XCFramework 以及 Snapdragon 的 Adreno GPU、Hexagon NPU…
llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題
llama.cpp 發布 b11538 建置,修復 CUDA 後端的舍入問題,使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫,Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置,Snapdragon 平台提供 CPU、Adr…
llama.cpp b11511 修復 CUDA MMQ 越界讀取
llama.cpp 發布建置 b11511,主要修復 CUDA 後端 MMQ 的越界讀取問題(#29953)。該版本照常提供 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端建置,覆蓋 Linux、Windows、Android 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。