spinf-serve 開源：單卡一次讀取回答多個分類問題
spinf-serve 以 Apache 2.0 開源，是一個面向批次分類與決策的推理伺服器：它只讀一遍內容，就同時回答多個問題，對每個選項返回機率而不是生成文字。單張 24GB NVIDIA GPU（RTX 4090/5090、L4、L40S、H100 等）即可執行，提供與託管服務一致的 OpenAI 相容 API，可用 pip 或 Docker 映象啟動。
給出單卡一次前向傳播回答多問題的實測吞吐（491 題/秒、約 vLLM 的 2.4 倍），並附各選項機率與空內容基線，對做大規模內容分類打標和需要自託管評分的場景有參考價值。
原標題：Show HN: Spinf-serve – inference server for bulk scoring and decisions
閱讀原文
| 評分 | 68 / 70（平均 69，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
@OpenAIDevs: Add near real-time decisions to your workflow with the Decisions API, now generally available.
OpenAI 的 Decisions API 已正式可用，可在工作流中加入近即時的判斷能力。它面向應用與 agent，支援對文字和圖片分類、評估輸入並決定後續走向，無需生成完整的模型回覆，從而更快、更省成本。
Spinal 發布：面向任意程式碼庫的近即時預測介面
Spinal 是面向任意程式碼庫的近即時預測介面，演示以 torvalds/linux（148 萬次提交、9.6 萬個檔案）為樣本。它能標出補丁的改動規模與影響範圍：KVM 檢查重複 vcpu_id 的提交 56 天后被回退；mm 移除 is_cow_mapping() 波及 arch、drivers、fs 等 7 個模組，+107/−38；net selftests 新增 380 行手寫程式碼覆蓋 UDP splice 校驗和分片對齊。
OpenAI 上線 Decisions API 公測，僅支援 gpt-6-luna
OpenAI 的 Decisions API 進入公測，官方稱其評估文字、影像或兩者並返回結構化答案的速度約為 Responses API 的 10 倍，預計數週內 GA。該 API 使用獨立的 POST /v1/decisions 端點，目前僅支援 gpt-6-luna，問題分三類：predicate 返回條件成立機率（0 到 1）、choice 從給定選項中選一個、score 按有序等級給出機率加權平均分。
Recursive 發布免費編碼模型 Flint，可在筆記本本地執行
Recursive 發布免費編碼模型 Flint，以 Apache 2.0 許可在 Hugging Face 開放下載，可在筆記本上離線執行。它是 40B 引數的混合專家模型，每次只啟用 2.5B 引數；在搭載 M4 Pro 的 MacBook Pro 上約 131 tokens/秒，約為同機 Gemma 4、Nemotron 3.5 Lightning 的兩倍；在 SWE-Bench Verified 上優於所有 50B 以下模型。
llama.cpp v0.7.0 發布，llama serve 新增懶載入與推測解碼
llama.cpp 發布 v0.7.0，作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化，並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。