依意思最接近的 30 筆
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
企業一度鼓勵員工儘可能多地使用 AI，即所謂的 #tokenmaxxing，隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱，其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量，而企業發現 token 很難統計，這讓 AI 預算幾乎無法編制。
基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版，新增 --list-models 命令可列出可用模型，同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新，這次屬於維護性版本。ttok 可直接通過 uvx 執行，例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。
Anthropic 發布一篇思想實驗文章，探討「每秒 100 萬 token」的四種含義：上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度，並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例，其上下文視窗為 100 萬 token，但單次請求輸出上限遠小於此。文章用互動計算器演示：若單智慧體達到每秒 100 萬 token，1000 個故事結局約 1 秒寫完，但加入 60 秒固定檢查後，端到端加速從 10000 倍降至 132.57 倍。
TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露，其 System-One 模型 Jev 估值達 100 億美元，日處理量已突破一萬億 token，且夜間流量持續走高，說明大量呼叫來自機器自動化。Jev 1.13.0 在第三方 JevBench v1.2.1 綜合榜以 75.3 分排名第一，發布影片 6 天瀏覽量超 3870 萬。
是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架，其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax，最佳化目標是滿足服務要求的達標輸出吞吐；另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%，官方註明屬收益測算範例。
超聚變在 2026 OCP 全球峰會（10 月 12 日，美國聖何塞）展出 TokenBox 本地 AI 超級工作站，單機可支援最高 1.6 萬億引數模型，包含 DeepSeek V4 Pro，資料完全本地留存，企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統，並發表《Next-Generation Power & Cooling Solutions》主題演講，聚焦供電、散熱與互連。
ttok 1.0 發布，預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器，但 William Liu 的實驗顯示，5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致，均為 44,794，GPT-6 在這批語料上沒有增加輸入 token。
OpenAI 經濟研究的報告顯示，在歐盟 ChatGPT Enterprise 客戶中，Codex 與 ChatGPT Work 已佔輸出 token 的一半以上，AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來，歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍，覆蓋每個成員國；但國別差異明顯，其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。
Superdesign 團隊發布 Treg，定位為面向 agent 工具的 OpenRouter：只需一個 base URL 和一個 token，即可呼叫覆蓋 SEO 外鏈、社交趨勢、人物與公司資料、廣告、爬蟲、影像影片生成等數千個端點，按次計費、最低一美分起，無需向供應商註冊帳號。目錄內工具由 Treg 自帶 key 或公開路由代付，團隊自有 key 的呼叫不計費，新驗證團隊可獲 1 美元免費額度。
有人做了一款工具，追蹤 AI 行業領袖在影片中的公開表態，並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei（累計 54 條）、Alex Karp（51 條）、Marc Andreessen（49 條）、Sam Altman（45 條）、Palmer Luckey（40 條）、Satya Nadella（23 條）、Elon Musk（21 條）、Yann LeCun（6 條）等人，頁面同時標註本週新增條數，例如 Alexandr Wang 本週有 5 條。
有使用者反映改用 Opus 5.5 後，每週僅用 300M token 就觸及訂閱上限，而此前每週消耗 1-2B token 都沒問題。該使用者指出 Opus 5.5 單 token 價格理論上更低，懷疑是訂閱額度被削減，或與自己大量使用 subagent 有關。目前尚無官方說明。
llama.cpp 發布建置 b11782，服務端修復了 n 大於 1（一次生成多個候選）時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包，覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux（含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）以及 Windows、Android、openEuler 等平台。
量子位發文吐槽，Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析，除 Coding 過擬合外，更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」，OpenAI 最早這麼做，同樣一句話的 Token 消耗比白話文少 70%；Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯，而 Gemini 因輸出風格正常、排版層級清晰，被社群視為少數還能正常溝通的 AI。
作者花 3 個月、約 500B token 讓 AI agent 把一款第一人稱射擊遊戲反編譯成 C++，最終程式碼可讀但語義錯誤。專案同時使用 Claude Max（20x）與 Codex Pro 訂閱，agent 跑在 Claude Code CLI 與 Codex CLI 裡，主力是 Sonnet 5，也用過 Opus 5.5、Luna、Sol、Terra；
llm-echo 0.5 發布，這個除錯外掛不接入任何 LLM，只把收到的 prompt 原樣回顯，新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
有開發者主張，訂閱制前端自帶的用量面板不足以支撐工程決策，LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型，記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態，並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中，還能快速切換模型而不必重新配置。作者不推薦具體代理服務，只建議部署在自己可控的環境並按需改造，例如增加自訂 MCP server 端點；其代理帶 API，編碼會話中的快取未命中可在約 20 秒內手工定位，也可自動化。
TypeSafe AI 的 Jev 模型近期走紅，其介面可直接返回預設選項、分數或事件機率，供程式碼呼叫，但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score，僅用對錯標籤即可訓練置信度機率分佈，在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884，4 張 A40 上約 4 分鐘完成微調。
輝達援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯：每兆瓦 token 數決定收益，A100 出貨六年後仍在商用，CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
智譜在 Zcode 3.15.1 中灰度上線高速模型 GLM-5.3-Highspeed，訂閱使用者隨機獲得體驗資格，有網友實測速度達 490 tokens/s。作為對比，上月亮相的 GLM-5.3-FlashX 最高 200 tokens/s，GLM-5.3-Flash 在 Z.ai API 上約 60 tokens/s。
阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績：Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻，並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。
TypeSafe 的 Jev API 上線三週即獲 75 億美元估值，首周 ARR 突破 1 億美元，成為同日湧現的「決策模型」品類的對標基準。OpenAI 同日發布 Decisions API，基於 GPT-6 Luna，支援機率、選項與打分三類請求，輸入每百萬 token 收費 0.10 美元、不計輸出費用，官方稱最快可提速 10 倍；
Jev 母公司 TypeSafe AI 完成 8.7 億美元 A 輪融資，投後估值 75 億美元，距 9 月 15 日種子輪的 2 億美元僅 24 天。Jev 砍掉生成能力、只做分類打分與選擇，輸出 token 永久免費，輸入每百萬 token 0.042 美元；上線 3 天日吞吐量達 1 萬億 token，接入 Vercel AI Gateway 後 24 小時內被近 13% 付費團隊採用，約三分之一《財富》500 強已在用。
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資，由 Andreessen Horowitz 領投，紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布，基於 transformer 架構但不是大語言模型，不輸出文字而是生成機率，公司稱之為「校準決策」，定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM，並稱已有三分之一財富 500 強企業在使用；
OpenAI 發布客戶案例，Amp 已上線 Sign in with ChatGPT 整合，讓使用者拿到更多 token 額度以及 GPT-6 Astra 等 OpenAI 模型。Amp CEO Quinn Slack 稱部分使用者每週消耗 100 億 token，接入後不必逐條計較用量，更願意把大任務交給 agent。
DeepSeek 開源生產推理棧 DeepInfer，用於支撐 V4.1 Flash，基於 vLLM 定製，支援投機解碼、結構化輸出與分散式推理，覆蓋 NVIDIA 與華為昇騰平台。官方披露單叢集日均處理 155 萬億 token、輸入快取命中率 96%、平均首 token 400ms、解碼 230 tokens/s（編碼場景 300 tokens/s）。按離線時段 38 美元/加速器小時計，推理毛利率超 80%，回本約 81 天。
Claude 官方帳號稱，Haiku 5.5 在 10 萬 token 以下的任務上價效比尤其突出。官方給出的依據是，這類任務約佔此前 Haiku 模型所收到請求的 90%，意味著絕大多數實際呼叫都落在這一區間內。該帖由 @claudeai 發布，未披露 Haiku 5.5 的具體價格、上下文長度或基準測試成績，也未與其他模型做對比。
一個由 Claude Code 驅動的自主智慧體開源了 lip-ledger，用精確計分模型復現 Kalshi 流動性激勵計劃（LIP）的獎勵演算法。工具為 Python 3.9+、無需 API key、只讀公開介面，CLI 可估算各計價方向每美元抵押的收益、單筆掛單的份額與預期賠付，並支援按分鐘取樣訂單簿。
基元律動（TokenRhythm）宣布其 API 平台開發者入駐數超過 30 萬，並開啟雙 11 預售：單筆充值滿 50 元即贈等額模型呼叫額度，活動期間可多次參與、累計贈額不設上限，贈送額度永久有效，歷史贈送額度的有效期也同步調整為永久有效。同期上線的邀請有禮活動，好友註冊並完成實名認證後可獲 18 元額度。平台以一個 API Key 提供主流模型統一入口，並搭配自研開源智慧體 OpenSquilla 做多模型智慧融合路由。
Google OAuth 平台現已支援 DPoP（Demonstrating Proof-of-Possession），對重新整理令牌做傳送方約束，以抵禦資訊竊取類惡意軟體與中間人攻擊。做法是把長期有效的重新整理令牌與金鑰做密碼學繫結，短期訪問令牌仍按標準 Bearer 令牌使用，因此不會帶來高 QPS 下的 API 效能開銷。開發者若在搭建多智慧體或 MCP 工作負載，還可用 Google Cloud STS 在智慧體鏈路上完成安全的令牌委派。