Hacker News front pageAI 評分69
spinf-serve 開源：單卡一次讀取回答多個分類問題
spinf-serve 以 Apache 2.0 開源，是一個面向批次分類與決策的推理伺服器：它只讀一遍內容，就同時回答多個問題，對每個選項返回機率而不是生成文字。單張 24GB NVIDIA GPU（RTX 4090/5090、L4、L40S、H100 等）即可執行，提供與託管服務一致的 OpenAI 相容 API，可用 pip 或 Docker 映象啟動。
找到 1 筆；也可以試試 語意搜尋
spinf-serve 以 Apache 2.0 開源，是一個面向批次分類與決策的推理伺服器：它只讀一遍內容，就同時回答多個問題，對每個選項返回機率而不是生成文字。單張 24GB NVIDIA GPU（RTX 4090/5090、L4、L40S、H100 等）即可執行，提供與託管服務一致的 OpenAI 相容 API，可用 pip 或 Docker 映象啟動。