找到 9 筆
輝達援引 SemiAnalysis AgentX 資料稱，Vera Rubin NVL72 每兆瓦吞吐量超過 GB300 NVL72 的 30 倍，在 DeepSeek V4 Pro 上每百萬 token 成本最多低 45 倍。輝達以「高產、耐用、通用」概括 AI 工廠回報邏輯：每兆瓦 token 數決定收益，A100 出貨六年後仍在商用，CoreWeave 已將 2020 年首批裝置的預訂延長至 2029 年。
智譜分享 GLM-5.3 如何幫助建置並最佳化為 GLM-5.3-Flash 提供服務的推理基礎設施。該系統從首次成功執行到具備生產可用性不到兩週，端到端吞吐量達到初始基線的三倍。關鍵在於密集反饋：本地正確性測試、執行軌跡、微基準與端到端測量，使團隊能針對假設做定向驗證，而非只依賴聚合效能指標。
去拒答（abliterated）版 DeepSeek 現有 5 家獨立推理服務商可用，均支援 1M 上下文。各家價格差距很大：Experiential Labs 與 Hopper 最便宜，輸入每百萬 token $0.30、輸出 $0.03；audn 最貴，為輸入 $4.50、輸出 $0.40。速度上 Refuseless 達 515 tok/s，audn 只有 24 tok/s；Hopper 延遲最低，為 351ms。
NVIDIA Nemotron 3.5 Super VL 現已在 Ollama 上線，可用 ollama run nemotron-3.5-super 直接拉取執行。該模型同時具備推理與視覺理解能力，覆蓋多種 agent 工作流。官方稱在單張 GPU 上，它的 agent 任務吞吐量最高可達同尺寸其他開源模型的 5 倍。
LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。
Jev 母公司 TypeSafe AI 完成 8.7 億美元 A 輪融資，投後估值 75 億美元，距 9 月 15 日種子輪的 2 億美元僅 24 天。Jev 砍掉生成能力、只做分類打分與選擇，輸出 token 永久免費，輸入每百萬 token 0.042 美元；上線 3 天日吞吐量達 1 萬億 token，接入 Vercel AI Gateway 後 24 小時內被近 13% 付費團隊採用，約三分之一《財富》500 強已在用。
輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL，主打多模態 agentic 任務，官方稱其準確率接近自家最大推理模型、引數量約為五分之一，吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型：Bolt 74B-A9B 24GB 採用原生 2-bit 量化，可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent，現已可用；Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置，10 月 23 日發布。
Airbnb CTO Ahmad Al-Dahle 披露，公司目前 60% 的程式碼由 AI 生成，功能交付量同比增加近 80%，工程師人均 PR 吞吐量提升約 1.6 倍；約一半客服工單已完全由 AI 處理，與 Q2 財報中近 45% 的數字一致。內部上下文圖譜 Everest 幫助雜貨配送服務在 8 至 9 個月內上線，機場接送僅用約 6 周。Airbnb 採用多模型策略，至少部署 10 個定製模型，主要在開源模型上做後訓練和強化學習。
Anthropic 發布一篇思想實驗文章，探討「每秒 100 萬 token」的四種含義：上下文容量、輸入處理速度、聚合吞吐量和單智慧體輸出速度，並強調這不是對任何現有模型的實測。文中以 Claude Opus 5.5 為例，其上下文視窗為 100 萬 token，但單次請求輸出上限遠小於此。文章用互動計算器演示：若單智慧體達到每秒 100 萬 token，1000 個故事結局約 1 秒寫完，但加入 60 秒固定檢查後，端到端加速從 10000 倍降至 132.57 倍。