搜尋
找到 3 筆;也可以試試 語意搜尋
機器之心● 精選AI 評分79
香港科技大學周子傑團隊與華為 2012 實驗室理論部提出 BalanceRoute,用線上路由緩解 MoE 大模型 PD 分離部署中各解碼組「齊步走」帶來的同步等待。在 96 張昇騰 910C、DeepSeek-V3 671B(W8A8)、8 個解碼單元的主實驗中,採用實際預測器的 BR-H 相比最強基線解碼吞吐提升約 15%,輸出 token 間隔的尾部延遲同時下降,單輪排程耗時中位數 1.20 毫秒、99% 分位 2.77 毫秒。
Google Developers blog● 精選AI 評分69
Google Antigravity SDK 現已支援在本地執行離線 agentic 工作流,可通過 LiteRT 呼叫 Gemma 4 26B A4B 等模型。該更新支援混合編排架構,由雲端模型擔任輕量規劃器,本地模型在裝置上處理程式碼審計與修補等高 token 消耗任務。SDK 還直接相容 Ollama、vLLM 等 OpenAI 相容推理伺服器,便於建置隱私優先的本地自主工具。
機器之心● 精選AI 評分84
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;