AISpot

llama.cpp 伺服器新增實驗性 --connect 遠端訪問

llama.cpp releases版本更新地端推論開發工具開源

llama.cpp 的 server 新增實驗性 --connect 引數，經 llama-connect 隧道讓區域網外的裝置也能 P2P 訪問本地推理服務。未啟用隧道時不再在 /props 暴露 connect code，避免 Web UI 顯示實際無人服務的遠端訪問碼；--connect 只在繫結 TCP 埠時可用，僅綁 unix socket 會被拒絕。

官方首次在 llama.cpp server 中加入 P2P 遠端訪問通道，雖明確標註實驗性，但意味著本地推理服務可跨區域網共享，對自建 server 和本地跑模型的人影響直接。

llama.cppllama-connectP2Pserver實驗性

原標題：b11744
閱讀原文

評分70 / 73（平均 71，門檻 60）
狀態精選

全文翻譯

server: 新增 --connect，允許 p2p 訪問 LAN 外的 server（#28277） - 初始化 - 進行中 - 接通它 - 明確說明它是實驗性的 - 新增 props.connect_code - 細節問題 - 修復 Windows 建置 server: 在沒有隧道時不要通告連線碼 單獨使用 --connect-code 除了在 /props 中提供外沒有任何效果，因此 Web UI 顯示了一個沒有隧道提供服務的遠端訪問碼。當 --connect 關閉時清除它，並在啟動時說明一次。 拆除註釋聲稱 terminate() 會關閉子程序 stdout。事實並非如此：日誌執行緒只有在那個管道的每個寫入者都消失後才會離開 fgets()，因此 llama-connect 的後代程序會永久阻塞 join。改為描述真實的約定。 同時恢復生成文件中的 --reasoning-preserve 預設值。 更新 tools/connect/CMakeLists.txt Co-authored-by: Adrien Gallouët [email protected] server: 在繫結埠和可訪問主機上撥號連線 llama-connect 傳遞 ctx_http.port，以便 --port 0 和 GCP 覆蓋生效；從 --host 選擇撥號主機（萬用字元對映到 loopback，IPv6 加方括號），並且當僅繫結了 unix socket 時拒絕 --connect。 Co-authored-by: Pascal [email protected] Co-authored-by: Adrien Gallouët [email protected] 網站： https://llama.app 證明： https://github.com/ggml-org/llama.cpp/attestations/57580475 macOS/iOS： - macOS Apple Silicon (arm64) - macOS Apple Silicon (arm64, KleidiAI 已啟用) 已停用 - macOS Intel (x64) - iOS XCFramework Linux： - Ubuntu x64 (CPU) - Ubuntu arm64 (CPU) - Ubuntu s390x (CPU) - Ubuntu x64 (Vulkan) - Ubuntu arm64 (Vulkan) - Ubuntu x64 (CUDA 12) - CUDA 12.8 庫 - Ubuntu x64 (CUDA 13) - CUDA 13.4 庫 - Ubuntu arm64 (CUDA 13) - CUDA 13.4 庫 - Ubuntu x64 (ROCm 10.0) - Ubuntu x64 (OpenVINO) - Ubuntu x64 (SYCL FP32) - Ubuntu x64 (SYCL FP16) - Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南 Android： - Android arm64 (CPU) - Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - 設定指南 Windows： - Windows x64 (CPU) - Windows arm64 (CPU) - Windows arm64 (OpenCL Adreno) - Windows x64 (CUDA 12) - CUDA 12.4 DLLs - Windows x64 (CUDA 13) - CUDA 13.4 DLLs - Windows arm64 (CUDA 13) - CUDA 13.4 DLLs - Windows x64 (Vulkan) - Windows arm64 (Vulkan) - Windows x64 (OpenVINO) - Windows x64 (SYCL) - Windows x64 (ROCm 10.0) openEuler： - 已停用 - openEuler x86 (310p) - openEuler x86 (910b, ACL Graph) - openEuler aarch64 (310p) - openEuler aarch64 (910b, ACL Graph) UI： - UI

由 AI 翻譯，以原文為準。

原文
server: add --connect, allow p2p access to server outside LAN ( #28277 ) init wip wire it up make it clear that it's experimental add props.connect_code nits fix windows build server: do not advertise a connect code without the tunnel --connect-code on its own had no effect other than being served in /props, so the Web UI showed a remote access code that no tunnel was serving. Clear it when --connect is off, and say so once at startup. The teardown comment claimed that terminate() closes the child stdout. It does not: the log thread leaves fgets() only once every writer of that pipe is gone, so a descendant of llama-connect would block the join forever. Describe the real contract instead. Also restore the --reasoning-preserve default in the generated docs. Update tools/connect/CMakeLists.txt Co-authored-by: Adrien Gallouët [email protected] server: dial llama-connect on the bound port and a reachable host Pass ctx_http.port so --port 0 and the GCP override work, pick the dial host from --host (wildcards map to loopback, IPv6 is bracketed) and refuse --connect when only unix sockets are bound. Co-authored-by: Pascal [email protected] Co-authored-by: Adrien Gallouët [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/57580475 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分42

llama.cpp b11521 服務端預設埠改為 9931

llama.cpp 新版本 b11521 把內建 server 的預設埠改為 9931，依賴預設埠的啟動指令碼與容器埠對映需相應調整。該版本同時放出各平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu（CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）、Windows x64/arm64、Android，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon…

地端推論開源llama.cpp版本發布本地推理GPU 加速跨平台
閱讀原文
X @ggerganovAI 評分42

llama.cpp v0.7.0 發布，llama serve 新增懶載入與推測解碼

llama.cpp 發布 v0.7.0，作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化，並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。

地端推論開源llama.cpp本地推理GGUF量化DGX Spark
2 個來源 · 3 則報導閱讀原文
llama.cpp releasesAI 評分45

llama.cpp b11572 新增 vLLM d3 模型支援

llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

地端推論開源llama.cpp版本更新本地推理CUDAVulkan
1 個來源 · 3 則報導閱讀原文