llama.cpp releases10/6 20:08AI 評分42
llama.cpp 發布 b11450:RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450,RPC 後端新增 -sm tensor 選項(#26610),支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題,把 graph_uids 移入 rpc_dispatcher,停止 dispatcher 執行緒空轉,並提升 RPC 主版本號。
找到 2 筆;也可以試試 語意搜尋
llama.cpp 發布 b11450,RPC 後端新增 -sm tensor 選項(#26610),支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題,把 graph_uids 移入 rpc_dispatcher,停止 dispatcher 執行緒空轉,並提升 RPC 主版本號。
Google Cloud API Gateway 現在可作為原生遠端 MCP 伺服器,無需自建中介軟體即可把 REST API 暴露給 AI agent。開發者在現有 OpenAPI 3.x 規範中新增 x-google-api-management.mcp 等註解,就能把標準 REST 操作轉為可被 agent 發現的工具;閘道器會自動將 MCP JSON-RPC 請求轉碼為 REST 呼叫,現有認證、配額與日誌策略繼續生效,無需新增基礎設施。