Anthropic 開源可驗證推理系統 FlashProve，單張 H100 每秒出證約 110 token
Anthropic 公開 FlashProve，一套用 zkSNARK 實現可驗證推理的開源原型：模型提供方可以證明某次回覆確實由指定模型生成，同時不洩露模型權重。在 4-bit 量化的 400B 混合專家模型 Llama 4 Maverick 上，單張 H100 生成證明約 110 token/秒，每 1,024 token 請求的證明約 19MB。這相當於 vLLM 直接執行該模型的 GPU 時間的 70–95 倍，但比此前的開源系統快幾個數量級。
把 zkSNARK 可驗證推理做到 400B 級模型單卡 110 token/秒，比既有開源系統快數個數量級，並用 Lean 形式化證明支撐頂層安全宣告，適合關心模型來源驗證與合規審計的人。
原標題：Progress on provable inference for large language models
閱讀原文
| 評分 | 78 / 80（平均 79，門檻 60） |
|---|---|
| 狀態 | 精選 |
相關報導
@AnthropicAI: New on our Frontier Red Team blog: using Claude to formally verify software at large scale.
Anthropic 前沿紅隊部落格發布研究：與 Theorem Labs 合作，用 Claude 在數週內為一百多個真實開源庫證明安全屬性。形式化驗證過去只能用於小規模程式碼庫或需大量專家時間，AI 模型正讓大規模驗證變得可行。完整研究已在其部落格發布。
Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
DeepSeek 開源推理棧 DeepInfer，單叢集日處理 155 萬億 token
DeepSeek 開源了生產推理棧 DeepInfer，它基於 vLLM 定製、採用 Apache 2.0 許可，支援最長 72 小時 prompt 快取、投機解碼與結構化輸出，相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s，按非高峰電價折算單卡每小時收入 38 美元，毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源；
OpenAI 公開內部前沿模型數學成果與 Lean 形式化證明
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果，以 GitHub 倉庫形式公開，併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算，以及嘗試題目數量的統計，平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。