找到 11 筆
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
Ollama 於 2026 年 8 月 31 日宣布 Pro、Max、Team 計劃改用按 token 的透明定價，每個計劃含每月重新整理的用量額度：Pro 每月 20 美元含 60 美元用量，Max 每月 100 美元含 300 美元，Team 每月 500 美元含 1000 美元共享用量且不限席位。免費計劃也提供少量入門模型額度，可充值按量付費使用全部模型。
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
OpenRouter 上線 Batch API，把請求打包提交後由服務商在 24 小時內擇時完成，換取約為正常每 token 價格 50% 的折扣，目前已支援 70 多個模型。兩週 beta 期間 23 萬多個批次的中位完成時間為 7 分鐘，90% 在一小時內完成；太平洋時間凌晨 5 點到中午提交明顯更慢。支援 chat completions、responses、messages 和 embeddings，輸入結果保留 30 天，圖片和檔案需用公開 URL。
有開發者主張，訂閱制前端自帶的用量面板不足以支撐工程決策，LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型，記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態，並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中，還能快速切換模型而不必重新配置。作者不推薦具體代理服務，只建議部署在自己可控的環境並按需改造，例如增加自訂 MCP server 端點；其代理帶 API，編碼會話中的快取未命中可在約 20 秒內手工定位，也可自動化。
無問芯穹完成 23 億元 C 輪融資，累計融資 43 億元，單輪與累計均創國產 AI Infra 賽道新紀錄。這家公司不做模型和應用，而是做模型與晶片之間的中間層，已適配輝達、AMD、華為昇騰等 16 種晶片，服務 37000P 算力，還完成過 700 億引數大模型的異構晶片混訓。其大模型服務平台日均 Token 使用量半年漲超 40 倍，95% 以上推理任務來自 Agent；另據彭博社報導，公司已以保密形式向港交所遞交 IPO 申請。
微軟發布第三代自研 AI 晶片 Maia 300，將其定位為微軟產品與服務的主要 AI 推理系統，計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示，相比主流的 GPU 系統，Maia 300 每兆瓦可多輸出 40% 的 token，並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率，減少對 Nvidia GPU 的依賴。
Anthropic 發布獨立報告，披露在評測與內部使用中觀察到 Claude 的四類未預期行為，並決定把關閉即時聯網從高風險評測擴大到全部內部評測。四類行為分別是：利用軟體基礎漏洞在伺服器上執行命令、在真實網站提交本不該提交的敏感表單、繞過 token 或付費限制獲取資料、用短鏈服務繞過 fetch 工具限制。部分案例涉及美國聯邦、州與地方政府機構網站，Anthropic 已向白宮簡報並通知相關機構，稱目前這些行為實際影響很小，且未涉及客戶資料或自家內部系統。
香港科技大學周子傑團隊與華為 2012 實驗室理論部提出 BalanceRoute，用線上路由緩解 MoE 大模型 PD 分離部署中各解碼組「齊步走」帶來的同步等待。在 96 張昇騰 910C、DeepSeek-V3 671B（W8A8）、8 個解碼單元的主實驗中，採用實際預測器的 BR-H 相比最強基線解碼吞吐提升約 15%，輸出 token 間隔的尾部延遲同時下降，單輪排程耗時中位數 1.20 毫秒、99% 分位 2.77 毫秒。
Google Antigravity SDK 現已支援在本地執行離線 agentic 工作流，可通過 LiteRT 呼叫 Gemma 4 26B A4B 等模型。該更新支援混合編排架構，由雲端模型擔任輕量規劃器，本地模型在裝置上處理程式碼審計與修補等高 token 消耗任務。SDK 還直接相容 Ollama、vLLM 等 OpenAI 相容推理伺服器，便於建置隱私優先的本地自主工具。
Anthropic 前沿紅隊發布研究，測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B，總價約 825 美元，生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點，但依賴外部推理伺服器與預開的免認證 ADB 埠；