依意思最接近的 9 筆
一篇 2026 年 10 月 3 日發布的思想實驗文章指出，每秒一百萬 token 可指四種不同含義：上下文容量、輸入處理速度、聚合吞吐量和單 agent 輸出速度，其中只有最後一種才是真正的寫作速度。文章用計算器演示：100 萬輸出 token 在 100 token/秒下需 2 小時 46 分 40 秒，在 100 萬 token/秒下僅 1 秒；但若寫作後加一次 60 秒的固定檢查，端到端加速從 10000 倍降到 132.57 倍，檢查佔 98.7% 時間。
TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露，Jev 日處理量已突破一萬億 token，且夜間流量持續走高，說明大量呼叫來自機器自動化。他稱 Jev 發布影片 6 天瀏覽量達 3870 萬，在 JevBench v1.2.1 綜合榜以 75.3 分排名第一，公司估值 100 億美元。他強調可靠性比速度和成本更重要，並稱即便給十億美元也不會從零預訓練大模型。
NVIDIA 提出衡量 AI 工廠投資回報的三個變數：產能（每兆瓦吞吐與每 token 成本）、使用壽命和需求。它援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍；每兆瓦 AI 工廠造價約 6000 萬美元。
一位使用者反映，改用 Opus 5.5 後每週僅用 3 億 token 就觸及訂閱週上限，而此前每週消耗 10 至 20 億 token 都沒問題。該使用者指出 Opus 5.5 單 token 價格理論上更低，懷疑是訂閱額度被削減，或與自己大量使用 subagent 的工作方式有關。目前這只是個人反饋，尚無官方說明。
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上跑 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話 14–15 tok/s，比原方案約 7 tok/s 提升明顯。一次長編碼提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
GPT-6 Astra Ultrafast 已上線，執行在 NVIDIA Blackwell GPU 上，面向 OpenAI 內部以及符合條件的 ChatGPT Work 和 Codex 使用者開放，token 生成速度最高可達 Astra Standard 模式的 8 倍。開發者今天就能通過 API 呼叫，接入方式、定價與實現細節見官方 Ultrafast 指南。更快的生成可縮短 coding agent 的編輯—測試—除錯迴圈，減少工具呼叫之間的等待時間。
Google 9 月發布新前沿模型 Gemini 4 Argon，擁有業界領先的 100 萬 token 輸出上限，面向編碼、網路安全防禦、金融研究與法律起草等重負載任務；目前僅通過 Fairwind Program 向受信任的網路安全防禦者開放，尚未放開給開發者、企業和消費者。
openJiuwen 首發 X-Router 自演進模型路由技術，按任務複雜度在本地與雲端模型池中動態選模型，實測減少 50%+ Token 消耗。該平台由華為 2012 實驗室、華為雲等團隊聯合高校與企業建置，主打昇騰親和，路由分三層：優於 1 分鐘重新整理的模型能力畫像、結合 KV 快取親和與即時負載的啟發式決策、用 Contextual Bandit 與輕量強化學習做反饋自演進，樣本不足時保留原判定。
開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。