AISpot

搜尋

依意思最接近的 30 筆

量子位AI 評分50

商湯大裝置日均服務 6 萬億 Token,異構推理吞吐提升 5 倍

商湯大裝置日均 Token 服務量已達 6 萬億,並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集,用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU,並支援節點角色動態切換,在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離,後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。

Hacker News front pageAI 評分48

自建 LLM 代理才能看清 token 用量與呼叫日誌

有開發者主張,訂閱制前端自帶的用量面板不足以支撐工程決策,LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型,記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態,並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中,還能快速切換模型而不必重新配置。作者不推薦具體代理服務,只建議部署在自己可控的環境並按需改造,例如增加自訂 MCP server 端點;其代理帶 API,編碼會話中的快取未命中可在約 20 秒內手工定位,也可自動化。

Simon WillisonAI 評分43

tiktoken 命令列工具 ttok 發布 0.4,新增 --list-models

基於 OpenAI 開源 tiktoken 庫的命令列 token 計數工具 ttok 發布 0.4 版,新增 --list-models 命令可列出可用模型,同時修復了一處 Click 警告並更新了 CI。該專案已約兩年沒有更新,這次屬於維護性版本。ttok 可直接通過 uvx 執行,例如把檔案內容用管道傳入 cat file.txt | uvx ttok 就能統計其中的 token 數。

Hacker News front pageAI 評分46

Anthropic 文章設想 AI 每秒輸出百萬 token

Anthropic 發布一篇思想實驗文章,探討「每秒 100 萬 token」的四種含義:上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度,並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例,其上下文視窗為 100 萬 token,但單次請求輸出上限遠小於此。文章用互動計算器演示:若單智慧體達到每秒 100 萬 token,1000 個故事結局約 1 秒寫完,但加入 60 秒固定檢查後,端到端加速從 10000 倍降至 132.57 倍。

Google Developers blogAI 評分62

A2UI 推出 Express 格式:token 用量最多減至 1/3

A2UI 支援可切換推理格式,新增的 A2UI Express 會把緊湊的 Python 風格語法經 Agent SDK 編譯成標準 A2UI JSON,token 用量最多減少 3 倍,延遲同步下降。開發者還可以結合 TypeSafe 的 Jev 系統決策模型進行受控生成,在 300ms 內渲染出已知結構的介面,同時讓較小模型流式輸出文字。前端渲染器與元件目錄無需改動,Python、TypeScript、Dart 均可使用。

量子位AI 評分53

是石科技發布 TokenFleet 排程框架,首 Token 延遲降 32.4%

是石科技在 2026 CCF 全國高效能運算學術大會期間發布 TokenFleet 分散式排程框架,其中 TokenPilot 在 GLM5.3 調優測試中把 P95 首 Token 延遲降低 32.4%、P50 降低 71.3%。框架還包含面向跨機房容量協同的 FleetMind 和負責混合負載准入與佇列治理的 SLOMax,最佳化目標是滿足服務要求的達標輸出吞吐;另一組測算顯示達標吞吐提高約 29.4%、達標比例從約 67% 升至約 86%,官方註明屬收益測算範例。

機器之心AI 評分28

超聚變 TokenBox 亮相 OCP,單機支援 1.6 萬億引數模型

超聚變在 2026 OCP 全球峰會(10 月 12 日,美國聖何塞)展出 TokenBox 本地 AI 超級工作站,單機可支援最高 1.6 萬億引數模型,包含 DeepSeek V4 Pro,資料完全本地留存,企業無需專用機房即可本地獲得大模型能力。同場還展出智算、超節點元件與 800V HVDC 電源系統,並發表《Next-Generation Power & Cooling Solutions》主題演講,聚焦供電、散熱與互連。

Hacker News front pageAI 評分20

Canary Tokens 官方使用指南登上 Hacker News,獲 32 分

Canary Tokens 的官方指南文件(docs.canarytokens.org/guide/)在 Hacker News 上被分享,獲得 32 分、8 條評論。指南講解如何部署這類“誘餌”令牌:在系統中放置看似有價值的檔案、憑證或連結,一旦被訪問就觸發告警,用於及早發現入侵和憑證洩露。原文只提供了文件入口和討論串,沒有更多版本或功能更新資訊。

量子位AI 評分46

AI 程式設計模型集體滿口黑話:思維鏈壓縮省 70% Token

量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。

量子位AI 評分55

Jev 估值 100 億美元,創始人稱日處理破萬億 token

TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露,其 System-One 模型 Jev 估值達 100 億美元,日處理量已突破一萬億 token,且夜間流量持續走高,說明大量呼叫來自機器自動化。Jev 1.13.0 在第三方 JevBench v1.2.1 綜合榜以 75.3 分排名第一,發布影片 6 天瀏覽量超 3870 萬。

Hacker News front pageAI 評分62

Treg 上線:一個 token 呼叫數千個 agent 工具

Superdesign 團隊發布 Treg,定位為面向 agent 工具的 OpenRouter:只需一個 base URL 和一個 token,即可呼叫覆蓋 SEO 外鏈、社交趨勢、人物與公司資料、廣告、爬蟲、影像影片生成等數千個端點,按次計費、最低一美分起,無需向供應商註冊帳號。目錄內工具由 Treg 自帶 key 或公開路由代付,團隊自有 key 的呼叫不計費,新驗證團隊可獲 1 美元免費額度。

X @claudeaiAI 評分43

Claude 稱 Haiku 5.5 在 10 萬 token 以下任務價效比突出

Claude 官方帳號稱,Haiku 5.5 在 10 萬 token 以下的任務上價效比尤其突出。官方給出的依據是,這類任務約佔此前 Haiku 模型所收到請求的 90%,意味著絕大多數實際呼叫都落在這一區間內。該帖由 @claudeai 發布,未披露 Haiku 5.5 的具體價格、上下文長度或基準測試成績,也未與其他模型做對比。

llama.cpp releasesAI 評分40

llama.cpp b11782 修復 n>1 時 completion_tokens 少計

llama.cpp 發布建置 b11782,服務端修復了 n 大於 1(一次生成多個候選)時 usage.completion_tokens 統計偏少的問題。該版本同時更新了各平台預編譯包,覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Linux(含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL)以及 Windows、Android、openEuler 等平台。

Hacker News front page● 精選AI 評分80

500B token 反編譯遊戲:AI agent 編排的經驗與教訓

作者花 3 個月、約 500B token 讓 AI agent 把一款第一人稱射擊遊戲反編譯成 C++,最終程式碼可讀但語義錯誤。專案同時使用 Claude Max(20x)與 Codex Pro 訂閱,agent 跑在 Claude Code CLI 與 Codex CLI 裡,主力是 Sonnet 5,也用過 Opus 5.5、Luna、Sol、Terra;

量子位● 精選AI 評分77

階躍終端發布首款 Agent 手機 STEPX Neo,3999 元

階躍終端正式發布首款 Agent 手機 STEPX Neo 先行版,售價 3999 元,含連續 12 個月、每月百億 Token 的 STEPX Token Plan。該機搭載智慧體原生作業系統 Step AOS,內建個人智慧體階躍 Amoo,系統層面支援 Loop 迴圈執行與自主 Tool Call,可呼叫 Skill 與 MCP 工具,側邊 AI 鍵與背屏可直接檢視任務狀態。

r/OpenAI top of the dayAI 評分16

使用者稱 6.1 Sol 省額度,考慮從 100 美元套餐降級

一位使用者表示 6.1 Sol 效率很高,兩小時編碼任務僅消耗每週額度的 2-3%,在 100 美元套餐下很難用完額度,因此考慮降級到 20 美元套餐,但擔心後者 5 小時限制過於受限。該使用者稱願意用速度換取 token 效率,並詢問是否有人也在考慮降級。

量子位AI 評分32

基元律動開發者超 30 萬,雙 11 充值滿 50 元贈等額額度

基元律動(TokenRhythm)宣布其 API 平台開發者入駐數超過 30 萬,並開啟雙 11 預售:單筆充值滿 50 元即贈等額模型呼叫額度,活動期間可多次參與、累計贈額不設上限,贈送額度永久有效,歷史贈送額度的有效期也同步調整為永久有效。同期上線的邀請有禮活動,好友註冊並完成實名認證後可獲 18 元額度。平台以一個 API Key 提供主流模型統一入口,並搭配自研開源智慧體 OpenSquilla 做多模型智慧融合路由。

機器之心● 精選AI 評分78

小紅書開源 DoSA,1M 上下文首 token 延遲最多降 48%

小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA,在保持原始 Top-K 選擇結果完全等價的前提下加速索引器,約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界,提前排除約 97% 不可能入選的候選,只對剩餘候選做全部索引頭的精確打分。

Hacker News front pageAI 評分40

Show HN 上有人發布面向 AI 的 UI 微互動提示詞集

typeui.sh 在 Hacker News 的 Show HN 板塊發布了一套面向 AI 的 UI 微互動提示詞(micro-interactions prompts),目前可以開啟該頁面檢視。該帖發布後收到 19 分和 3 條評論,討論量不大;帖子正文沒有提供更多細節,包括提示詞數量、支援的模型和授權方式。

量子位● 精選AI 評分83

清華開源智慧體作業系統 PilotDeck 2.0,任務成本降 83%

清華大學 THUNLP 實驗室聯合面壁智慧、OpenBMB 等團隊開源智慧體作業系統 PilotDeck 2.0,用 WorkSpace 工作艙隔離各專案的檔案、記憶與任務,記憶白盒化可檢視、修改、刪除,並支援後臺常駐執行長任務。其 Smart Routing 按任務難度分發模型:實測主 Sonnet 4.6 加子 MiniMax-M2.7 得 70.6 分、成本 3.15 美元,單體 Sonnet 4.6 為 69.1 分、18.36 美元,約省六分之五。

NVIDIA blogAI 評分25

輝達稱 Vera Rubin NVL72 每兆瓦吞吐量超 GB300 30 倍

輝達援引 SemiAnalysis AgentX 資料稱,Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍,在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯:每兆瓦 token 數決定收益,A100 出貨六年後仍在商用,CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。

Hacker News front pageAI 評分36

HN 討論:模型這麼強,OpenAI 為何不自己開公司做應用

Hacker News 上一條 Ask HN 帖子提問:如果前沿模型已經這麼強,OpenAI、Anthropic 為什麼不自己拿模型去開一批公司、做自己的產品,而是把賣 token 當成主要收入來源。發帖者認為模型正在商品化、價格持續走低,這或許說明應用側比工具側更賺錢。該帖獲得 130 分、109 條評論。

OpenAI News● 精選AI 評分64

OpenAI:Codex 與 ChatGPT Work 佔歐盟企業輸出 token 過半

OpenAI 經濟研究的報告顯示,在歐盟 ChatGPT Enterprise 客戶中,Codex 與 ChatGPT Work 已佔輸出 token 的一半以上,AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來,歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍,覆蓋每個成員國;但國別差異明顯,其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。

X @Alibaba_QwenAI 評分33

Qwen3.8-Flash-Next 單使用者輸出達 685 tokens/s

阿里通義千問官方帳號轉發並祝賀 LightSeek 的 TokenSpeed 推理成績:Qwen3.8-Flash-Next 在輝達 GPU 上實現單使用者 685 output tokens/s。官方稱該結果令人印象深刻,並表示期待社群繼續釋放 Qwen 的推理潛力。這一數字指向 Qwen3.8-Flash-Next 在推理側的吞吐表現。