Hacker News front pageAI 評分69
spinf-serve 開源:單卡一次讀取回答多個分類問題
spinf-serve 以 Apache 2.0 開源,是一個面向批次分類與決策的推理伺服器:它只讀一遍內容,就同時回答多個問題,對每個選項返回機率而不是生成文字。單張 24GB NVIDIA GPU(RTX 4090/5090、L4、L40S、H100 等)即可執行,提供與託管服務一致的 OpenAI 相容 API,可用 pip 或 Docker 映象啟動。
找到 3 筆;也可以試試 語意搜尋
spinf-serve 以 Apache 2.0 開源,是一個面向批次分類與決策的推理伺服器:它只讀一遍內容,就同時回答多個問題,對每個選項返回機率而不是生成文字。單張 24GB NVIDIA GPU(RTX 4090/5090、L4、L40S、H100 等)即可執行,提供與託管服務一致的 OpenAI 相容 API,可用 pip 或 Docker 映象啟動。
Google Antigravity SDK 現已支援在本地執行離線 agentic 工作流,可通過 LiteRT 呼叫 Gemma 4 26B A4B 等模型。該更新支援混合編排架構,由雲端模型擔任輕量規劃器,本地模型在裝置上處理程式碼審計與修補等高 token 消耗任務。SDK 還直接相容 Ollama、vLLM 等 OpenAI 相容推理伺服器,便於建置隱私優先的本地自主工具。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;