依意思最接近的 30 筆
量子位發文吐槽，Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析，除 Coding 過擬合外，更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」，OpenAI 最早這麼做，同樣一句話的 Token 消耗比白話文少 70%；Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯，而 Gemini 因輸出風格正常、排版層級清晰，被社群視為少數還能正常溝通的 AI。
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
arXiv 新論文提出 Hybrid Reasoning Agents（HybridAgents），在隱空間推理與文字互動之間動態切換，token 減少 35.5%–54.7%、推理快 1.8–2.6 倍、成本降至 1/2.7–1/3.7，效能平均提升 10.4%。架構上由輕量 HybridLink 完成文字與隱空間模式的切換，連續工作記憶在多輪中保留無損混合上下文，既保留工具呼叫能力，也讓隱空間思考可直接檢查。配套 HybridSFT 與 HybridRL 後訓練演算法；
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
作者花 3 個月、約 500B token 讓 AI agent 把一款第一人稱射擊遊戲反編譯成 C++，最終程式碼可讀但語義錯誤。專案同時使用 Claude Max（20x）與 Codex Pro 訂閱，agent 跑在 Claude Code CLI 與 Codex CLI 裡，主力是 Sonnet 5，也用過 Opus 5.5、Luna、Sol、Terra；
投機解碼提速並不是因為計算量更少，恰恰相反，同一序列的浮點運算總量反而上升。它快在改變了 GPU 的工作型別：逐個 token 解碼時 GPU 處於記憶體瓶頸、算力閒置，而用小草稿模型一次並行驗證多個 token，等於用閒置算力換取單條序列的深度推進。被拒絕的草稿 token 都是白做的功，高吞吐場景下反而浪費算力，因此 vLLM 提供 --speculative-disable-by-batch-size 引數按批大小整體關閉該功能；
研究者提出 SELFCOMPACT，讓語言模型自行決定何時、以何種方式壓縮 agent 軌跡，取代按固定 token 閾值觸發的定時壓縮。長軌跡中的思維鏈與工具呼叫會累積過時內容，干擾後續生成並最終撐爆上下文視窗，而固定間隔壓縮不關注軌跡結構，可能在推導或搜尋中途丟棄部分結果。該方案在推理階段引入兩個元件，其中之一是模型可主動呼叫的壓縮工具，用於總結已累積的內容。
DeepSeek 開源了 V4.1 Flash 背後的推理引擎 DeepInfer，它基於 vLLM 定製、採用 Apache 2.0 許可，官方稱單叢集每天處理 155 萬億 token。生產資料顯示輸入快取命中率 96%、平均首 token 400ms、生成 230 tokens/s（編碼場景 300），按低谷期每卡時 38 美元收入與 5–8 美元成本計算，推理毛利率超 80%，回本約 81 天。不過 KV 快取、PD 分離與負載均衡因與內部基礎設施耦合暫未開源；
Anthropic 發布一篇思想實驗文章，探討「每秒 100 萬 token」的四種含義：上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度，並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例，其上下文視窗為 100 萬 token，但單次請求輸出上限遠小於此。文章用互動計算器演示：若單智慧體達到每秒 100 萬 token，1000 個故事結局約 1 秒寫完，但加入 60 秒固定檢查後，端到端加速從 10000 倍降至 132.57 倍。
企業一度鼓勵員工儘可能多地使用 AI，即所謂的 #tokenmaxxing，隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱，其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量，而企業發現 token 很難統計，這讓 AI 預算幾乎無法編制。
TypeSafe AI 的 Jev 模型近期走紅，其介面可直接返回預設選項、分數或事件機率，供程式碼呼叫，但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score，僅用對錯標籤即可訓練置信度機率分佈，在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884，4 張 A40 上約 4 分鐘完成微調。
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
超聚變在 2026 OCP 全球峰會（10 月 12 日，美國聖何塞）展出 TokenBox 本地 AI 超級工作站，單機可支援最高 1.6 萬億引數模型，包含 DeepSeek V4 Pro，資料完全本地留存，企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統，並發表《Next-Generation Power & Cooling Solutions》主題演講，聚焦供電、散熱與互連。
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
Claude Code v2.1.299 新增空閒壓縮：超過 200K token 的會話閒置約 54 分鐘後會被自動壓縮，趕在一小時 prompt cache 過期前完成，避免下一條訊息重新處理全部上下文。壓縮閾值可用 CLAUDE_CODE_IDLE_COMPACT_MIN_TOKENS 調整，settings.json 裡的 idleCompaction: false 可關閉，兩者都需 v2.1.290 及以上。
開發者發布 DensePack，將 Read 讀取的文字檔案、Bash 輸出、Word 文件和子代理報告打包成圖片供 agent 讀取，聲稱按約 50% 的價格完成同樣的文字 token 化，且後續快取讀取也按這一折扣計費。作者稱已跑過逾 1 萬次基準測試，圖片用獨特配色加兩行圖例，可從圖片逐位元組還原始碼檔案，並保留文字副本作為校驗回退。專案發布兩週獲 8 個 star，已通過 Anthropic 外掛提交的初期階段，最新版本 1.3.3，1.4 計劃支援與其他外掛共用。
LittleBit 專案放出論文官方實現，可把 LLM 權重壓縮到 1.0 至 0.1 bits-per-weight，推理時保持原模型結構不變。ICML 2026 的 LittleBit-2 新增 Joint-ITQ 初始化，通過 --use_itq 開啟，只改初始化、不增加推理開銷，並支援 SmoothSign 量化感知訓練與可選殘差分解。
BottleCap AI 發布 ThinkingCap 系列第五個模型，把 Google gemma-4-26B-A4B-it 的平均思考 token 減少 38.9%，十二項基準準確率平均只降 0.15pp。單項降幅最高為 LongBench v2 的 69.1%，AA-LCR 降 59.3%；迴圈輸出率從 3.64% 降到 0.76%；IFBench 反而提升 1.83pp，AA-LCR 準確率下降 4.00pp 是主要代價。取樣設定和 vLLM 服務棧不變，可直接替換；
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架，其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax，最佳化目標是滿足服務要求的達標輸出吞吐；另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%，官方註明屬收益測算範例。
ttok 1.0 發布，預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器，但 William Liu 的實驗顯示，5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致，均為 44,794，GPT-6 在這批語料上沒有增加輸入 token。
基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版，新增 --list-models 命令可列出可用模型，同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新，這次屬於維護性版本。ttok 可直接通過 uvx 執行，例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。
llama.cpp 發布建置 b11782，服務端修復了 n 大於 1（一次生成多個候選）時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包，覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux（含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）以及 Windows、Android、openEuler 等平台。
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
llama.cpp 合併 PR #29928，為 GLM5-Next 加入多 token 預測（MTP）的 NextN 計算圖，使其能作為投機解碼的 draft 模型使用。改動包括支援只含 NextN 層或只含主幹張量的拆分 GGUF 檔案載入，並把 MTP 圖按輸出行裁剪，無輸出行的 4-token catch-up 核心耗時從 6.9 ms 降到 2.9 ms，貪心輸出雜湊與 draft 接受率不變。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果，以 GitHub 倉庫形式公開，併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算，以及嘗試題目數量的統計，平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
Minotaur 這套不依賴語言模型、也不用 GPU 的 AI 架構，能完成演繹、歸納、溯因、診斷、實驗選擇與信念修正等多種推理，全部由單個網路、單個普通 CPU 核心完成，每題約 0.25 秒。在由從未看過其程式碼的人設計的盲測中，它在一道“提問會改變證人記憶”的警方訊問推理題，以及僅憑資料學習、診斷和預測系統兩項上，與當前語言模型表現持平。文章還回顧了邏輯理論家、通用問題求解器、專家系統、Prolog 與日本第五代計算機專案等前語言模型路線各自的止步之處。
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
Claude 官方帳號稱，Haiku 5.5 在 10 萬 token 以下的任務上價效比尤其突出。官方給出的依據是，這類任務約佔此前 Haiku 模型所收到請求的 90%，意味著絕大多數實際呼叫都落在這一區間內。該帖由 @claudeai 發布，未披露 Haiku 5.5 的具體價格、上下文長度或基準測試成績，也未與其他模型做對比。
獨立研究員王琰發布技術報告 TraceForge，提出用同族模型自行生成思維鏈、只向閉源模型借答案的合法路徑。以 Qwen3.5-9B-Base 做學生、5,000 條題目訓練後，自生成思維鏈在 HumanEval+ 比直接蒸餾 Claude Fable 5 真實思維鏈高 3.7 分、MBPP+ 高 7.1 分，且 MBPP+ 領先在每個 checkpoint 上都成立。報告還給出更徹底的變體：連答案也交給同族最強模型生成，全程不讓任何閉源 token 進入梯度；