AISpot

搜尋

依意思最接近的 30 筆

Hacker News front pageAI 評分46

Anthropic 文章設想 AI 每秒輸出百萬 token

Anthropic 發布一篇思想實驗文章,探討「每秒 100 萬 token」的四種含義:上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度,並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例,其上下文視窗為 100 萬 token,但單次請求輸出上限遠小於此。文章用互動計算器演示:若單智慧體達到每秒 100 萬 token,1000 個故事結局約 1 秒寫完,但加入 60 秒固定檢查後,端到端加速從 10000 倍降至 132.57 倍。

量子位AI 評分50

商湯大裝置日均服務 6 萬億 Token,異構推理吞吐提升 5 倍

商湯大裝置日均 Token 服務量已達 6 萬億,並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集,用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU,並支援節點角色動態切換,在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離,後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。

Hacker News front pageAI 評分53

思科給工程師不限量 AI token,24 個月重寫 98% 遺留程式碼

思科給一名 27 歲工程師不限量的 AI token 額度,要求他在 24 個月內重寫公司 98% 的遺留程式碼。這名工程師是前創業公司創始人,由公司總裁親自挑選,並被明確告知可以放手去做。該訊息來自 Tom's Hardware 的報導,沒有說明具體會使用哪些模型或工具,也沒有披露預算、團隊規模與驗收標準。

TechCrunch AIAI 評分51

YC 的 Garry Tan 每年最多花 20 萬美元買 token

Y Combinator CEO Garry Tan 在播客中透露,他每年為 AI agent 的 token 花費 10 萬至 20 萬美元,並稱這是並非人人都能負擔的特權。他用 agent 處理工作專案與編碼任務,還把 23 個 Claude Code 技能打包成 gstack 在 GitHub 公開。YC 內部另有一個名為 Stray Light 的 agent,掌握其投資過的所有創始人、所有申請與來信的上下文。他認為個人 agent 要走向主流,前提是成本先降下來。

機器之心● 精選AI 評分91

OpenAI 12 月起合併 ChatGPT 與 Codex 額度,改按 token 計量

OpenAI 上線用量說明文件:從 12 月起,Plus、Pro、Business 三檔的用量額度在 ChatGPT 與 Codex 之間共用同一個池子,並統一按 token 計算,不再按訊息條數,只有 Instant 聊天不計入額度。具體上線日期與各檔可用 token 數均未公布,額度用盡後可等重置、升級套餐或購買 credits。

量子位AI 評分53

是石科技發布 TokenFleet 排程框架,首 Token 延遲降 32.4%

是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架,其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax,最佳化目標是滿足服務要求的達標輸出吞吐;另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%,官方註明屬收益測算範例。

r/OpenAI top of the dayAI 評分16

使用者稱 6.1 Sol 省額度,考慮從 100 美元套餐降級

一位使用者表示 6.1 Sol 效率很高,兩小時編碼任務僅消耗每週額度的 2-3%,在 100 美元套餐下很難用完額度,因此考慮降級到 20 美元套餐,但擔心後者 5 小時限制過於受限。該使用者稱願意用速度換取 token 效率,並詢問是否有人也在考慮降級。

llama.cpp releasesAI 評分40

llama.cpp b11782 修復 n>1 時 completion_tokens 少計

llama.cpp 發布建置 b11782,服務端修復了 n 大於 1(一次生成多個候選)時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包,覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux(含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL)以及 Windows、Android、openEuler 等平台。

機器之心AI 評分28

超聚變 TokenBox 亮相 OCP,單機支援 1.6 萬億引數模型

超聚變在 2026 OCP 全球峰會(10 月 12 日,美國聖何塞)展出 TokenBox 本地 AI 超級工作站,單機可支援最高 1.6 萬億引數模型,包含 DeepSeek V4 Pro,資料完全本地留存,企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統,並發表《Next-Generation Power & Cooling Solutions》主題演講,聚焦供電、散熱與互連。

Simon WillisonAI 評分43

tiktoken 命令列工具 ttok 發布 0.4,新增 --list-models

基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版,新增 --list-models 命令可列出可用模型,同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新,這次屬於維護性版本。ttok 可直接通過 uvx 執行,例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。

Claude Platform release notesAI 評分52

Claude API 單次請求體上限從 32 MB 提高到 128 MB

Anthropic 將第一方 Claude API 中 Messages API 與 Token Counting API 的單次請求體上限從 32 MB 提高到 128 MB,是原來的四倍。此次調整適用於直接呼叫 Claude 官方 API 的請求,便於單次提交更大體量的上下文或批次內容;公告未提及其他介面或價格變化。

量子位AI 評分55

Jev 估值 100 億美元,創始人稱日處理破萬億 token

TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露,其 System-One 模型 Jev 估值達 100 億美元,日處理量已突破一萬億 token,且夜間流量持續走高,說明大量呼叫來自機器自動化。Jev 1.13.0 在第三方 JevBench v1.2.1 綜合榜以 75.3 分排名第一,發布影片 6 天瀏覽量超 3870 萬。

llama.cpp releasesAI 評分56

llama.cpp 修復語法取樣:超長 token 不再被誤拒

llama.cpp 修復了啟用語法(grammar)取樣時長 token 被誤判拒絕的問題。此前 llama_grammar_reject_candidates_for_stack 的深度限制按 token 的碼點數計算,凡是 256 字元及以上的 token 在 grammar 下都會被拒絕,例如 GLM-4.7-Flash 的 512 空格 token 和 Laguna-S-2.1 的長空格 token。

Ollama releasesAI 評分53

Ollama v0.40.14 為 Claude Code 解除 128k 預設輸出上限

Ollama 發布 v0.40.14,ollama launch claude 現在會應用模型自身的輸出 token 上限,使 Claude Code 中的雲端模型不再受 128k 預設上限限制。同一版本中,OpenAI 相容介面不再覆蓋模型內建的取樣器預設值:客戶端不傳 temperature / top_p 時,會使用模型自身的值而非 1.0,行為與 /api/chat 一致。

Hacker News front pageAI 評分62

Treg 上線:一個 token 呼叫數千個 agent 工具

Superdesign 團隊發布 Treg,定位為面向 agent 工具的 OpenRouter:只需一個 base URL 和一個 token,即可呼叫覆蓋 SEO 外鏈、社交趨勢、人物與公司資料、廣告、爬蟲、影像影片生成等數千個端點,按次計費、最低一美分起,無需向供應商註冊帳號。目錄內工具由 Treg 自帶 key 或公開路由代付,團隊自有 key 的呼叫不計費,新驗證團隊可獲 1 美元免費額度。

X @Alibaba_QwenAI 評分33

Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s

阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。

機器之心● 精選AI 評分90

ChatGPT Pro 用量限額翻倍,立即生效

OpenAI 於 10 月 30 日把 ChatGPT Pro 與 Business Premium 的用量限額翻倍,並立即生效。以 Pro 200 為例,額度恢復到此前水平:ChatGPT Work 與 Codex 的內含用量為 Plus 的 20 倍,聊天模式中 GPT-6 Pro 每週 200 條,且沒有 5 小時限制;Ultrafast 仍專屬 Pro 500,Plus 額度不變。

量子位AI 評分32

基元律動開發者超 30 萬,雙 11 充值滿 50 元贈等額額度

基元律動(TokenRhythm)宣布其 API 平台開發者入駐數超過 30 萬,並開啟雙 11 預售:單筆充值滿 50 元即贈等額模型呼叫額度,活動期間可多次參與、累計贈額不設上限,贈送額度永久有效,歷史贈送額度的有效期也同步調整為永久有效。同期上線的邀請有禮活動,好友註冊並完成實名認證後可獲 18 元額度。平台以一個 API Key 提供主流模型統一入口,並搭配自研開源智慧體 OpenSquilla 做多模型智慧融合路由。

TechCrunch AIAI 評分62

蘋果據報下調工程團隊每日 AI 使用預算

據彭博社報導,蘋果已下調工程團隊的每日 AI 使用額度上限,從 300 美元降到 200 美元,部分額度還將降至每天 100 美元,工程之外部門的每日限額據稱低至 25 美元。這與此前企業鼓勵員工儘量多用 AI 的「tokenmaxxing」風潮形成反轉,業界對 AI 投入成本與生產力收益之間的差距仍有疑慮。蘋果未對此置評。

量子位AI 評分46

AI 程式設計模型集體滿口黑話:思維鏈壓縮省 70% Token

量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。

X @OpenAIDevs● 精選AI 評分88

ChatGPT Pro 與 Business 訂閱者可每月領最高 500 美元 API 額度

自 2026 年 10 月 28 日起,符合條件的 ChatGPT Pro 和 Business 訂閱者可每月領取最高 500 美元的 API 額度,用於建置應用和 agent。該訊息由 OpenAI Devs 帳號發布,明確面向開發用途。公告未展開“符合條件”的具體標準,也未說明額度如何領取、是否按月清零或適用於哪些 API 模型。

X @OpenAIDevs● 精選AI 評分76

OpenAI 公布 Pro 每月 100 至 500 美元額度

OpenAI 開發者帳號說明,各套餐的額度(credits)金額按檔位劃分:Pro 套餐分三檔,每月分別為 100、200 或 500 美元;Business 套餐按付費席位發放,Standard 席位 20 美元、Premium 席位 100 美元,同一工作區彙總上限為 500 美元。更多細則見 OpenAI 幫助中心對應條目。

Hacker News front pageAI 評分61

agent-usage-guard:攔截 Claude Code 子 agent 爆發消耗額度

agent-usage-guard 是一個 Claude Code 外掛,在花費發生前攔住失控的 agent 爆發:五小時或每週額度用到 80% 時新開 agent 需人工批准,到 95% 直接拒絕。預設還限制本機所有會話合計同時執行 4 個 agent、每 10 分鐘啟動 12 個、子 agent 每 10 分鐘處理 10M token,且子 agent 不得再開子 agent。在無人應答的 claude -p 與 Agent SDK 場景下改為直接拒絕並說明原因。

Hacker News front pageAI 評分48

自建 LLM 代理才能看清 token 用量與呼叫日誌

有開發者主張,訂閱制前端自帶的用量面板不足以支撐工程決策,LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型,記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態,並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中,還能快速切換模型而不必重新配置。作者不推薦具體代理服務,只建議部署在自己可控的環境並按需改造,例如增加自訂 MCP server 端點;其代理帶 API,編碼會話中的快取未命中可在約 20 秒內手工定位,也可自動化。

Claude Platform release notes● 精選AI 評分83

Claude Max 與 Team 套餐新增每月 API 額度

Anthropic 宣布 Claude Max 與 Team 套餐現在每月附帶 API 額度,訂閱使用者可按月領取並用於 API 呼叫。公告未給出具體額度數值、適用模型或有效期,只說明領取方式見幫助文件「API credits for Max and Team plans」。該資訊發布於 2026 年 10 月 7 日。