AISpot

百萬 token 每秒只是思想實驗,序列瓶頸仍在

Hacker News front page10/3 05:22觀點研究模型

一篇 2026 年 10 月 3 日發布的思想實驗文章指出,每秒一百萬 token 可指四種不同含義:上下文容量、輸入處理速度、聚合吞吐量和單 agent 輸出速度,其中只有最後一種才是真正的寫作速度。文章用計算器演示:100 萬輸出 token 在 100 token/秒下需 2 小時 46 分 40 秒,在 100 萬 token/秒下僅 1 秒;但若寫作後加一次 60 秒的固定檢查,端到端加速從 10000 倍降到 132.57 倍,檢查佔 98.7% 時間。

原標題:What if AI worked at 1.000.000 tokens per seconds?
閱讀原文

評分45 / 38(平均 41,門檻 76)
狀態未入選

相關報導

r/LocalLLaMA top of the day10/3 07:49AI 評分51

Qwen3.8-Flash-Next 177B 在單張 RTX 5070 12GB 上跑到 11–15 tok/s

有人在 Windows 上用 llama.cpp 的專家流式方案,在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上跑 Qwen3.8-Flash-Next 177B(UD-IQ3_XXS),基準約 11.5 tok/s,日常對話 14–15 tok/s,比原方案約 7 tok/s 提升明顯。一次長編碼提示以 10.15 tok/s 生成 4,892 個 token,產出一個可執行的單檔案貪吃蛇遊戲。

r/OpenAI top of the day10/3 10:06AI 評分56

ChatGPT 跑 30 分鐘才報用量超限,不提前提醒

有使用者用 GPT-6 Astra 處理 10 萬字元以上素材生成 70 多頁文件時,任務跑 30 到 40 分鐘、消耗大量算力後,直接報 5 小時用量上限錯誤,一個字都沒輸出。使用者只能新開對話、縮小任務重試,反覆多次。按 ChatGPT 與 Gemini 估算,這類大規模執行每次 API 等效算力成本約 3 到 5 美元。

r/ClaudeAI top of the day● 精選10/3 02:29AI 評分78

使用者稱 Opus 5.5 周額度 3 億 token 即觸頂

一位使用者反映,改用 Opus 5.5 後每週僅用 3 億 token 就觸及訂閱週上限,而此前每週消耗 10 至 20 億 token 都沒問題。該使用者指出 Opus 5.5 單 token 價格理論上更低,懷疑是訂閱額度被削減,或與自己大量使用 subagent 的工作方式有關。目前這只是個人反饋,尚無官方說明。

r/OpenAI top of the day10/3 19:48AI 評分40

使用者稱 6.1 Sol 省額度,考慮降級訂閱

有使用者表示 6.1 Sol 非常省額度,2 小時編碼任務只消耗每週配額約 2-3%,在 100 美元方案下很難用完每週額度。該使用者擔心 20 美元方案受 5 小時限制影響太大,但鑑於 token 消耗很輕,仍可能嘗試降級。該使用者稱願意用速度換 token 效率,並詢問是否有人也在考慮降級。

NVIDIA blog● 精選10/2 00:44AI 評分86

OpenAI 上線 GPT-6 Astra Ultrafast,跑在 NVIDIA Blackwell 上

GPT-6 Astra Ultrafast 已上線,執行在 NVIDIA Blackwell GPU 上,面向 OpenAI 內部以及符合條件的 ChatGPT Work 和 Codex 使用者開放,token 生成速度最高可達 Astra Standard 模式的 8 倍。開發者今天就能通過 API 呼叫,接入方式、定價與實現細節見官方 Ultrafast 指南。更快的生成可縮短 coding agent 的編輯—測試—除錯迴圈,減少工具呼叫之間的等待時間。