VocabX 按成本重構詞表，Qwen3-4B 推理成本實測降 77%
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下，把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表，已用於其葡萄牙語作文批改系統：基於 Qwen3-4B，原詞表 151,669 項，只服務單一語言與固定 JSON 輸出格式。
把詞表當作小模型推理成本的主要槓桿，給出 77% 實測降幅與解碼成本約為讀取 7.4 倍的量化依據，對在垂直領域部署小模型、自建 tokenizer 的團隊有直接參考價值。
原標題：How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
閱讀原文
| 評分 | 68 / 71（平均 69，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
用 ML Intern 幾天做出 6 個模型，9B 改寫器壓到 0.8B
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。
openJiuwen X-Router 首發，實測減少 50%+ Token 消耗
openJiuwen 團隊發布自演進模型路由技術 X-Router，在 PinchBench 全量 147 個任務實測中，靜態路由得分 66.3%、成本 $8.25，相比全量呼叫 Kimi-K2-Thinking 的 71.36%、$11.11，成本降低 44.6%。該技術基於五檔複雜度分檔路由，用本地 Qwen3-0.6B 做程序內分類器，支援端雲分級與 Bandit 自演進，並已接入 WorkSwarm 的 MoA 多模型協同。
Qwen3.8 27B 在 DGX Spark 復現文字加法實驗，169 題答對 167
有人在本地 DGX Spark 上覆現了兩年前用 GPT-4o 做過的實驗：讓模型算出大數之和、但把答案寫成英文單詞。他用 Qwen3.8-27B-Q4_K_M.gguf，經 Codex Remote（GPT-6 Astra）執行，關閉推理時每組組合跑 30 次嘗試，開啟推理後每組只跑一次，169 次裡答對 167 次。作者也公開了部分大數計算的推理過程。
小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
DeepSeek 開源生產推理棧 DeepInfer，單叢集日均 155 萬億 token
DeepSeek 開源生產推理棧 DeepInfer，用於支撐 V4.1 Flash，基於 vLLM 定製，支援投機解碼、結構化輸出與分散式推理，覆蓋 NVIDIA 與華為昇騰平台。官方披露單叢集日均處理 155 萬億 token、輸入快取命中率 96%、平均首 token 400ms、解碼 230 tokens/s（編碼場景 300 tokens/s）。按離線時段 38 美元/加速器小時計，推理毛利率超 80%，回本約 81 天。