天數智芯 TY1200 端側終端實測超輝達 Thor，可本地完成機器人訓練
天數智芯在上海媒體開放日展示端側算力終端彤央 TY1200，標稱 300 TOPS 稠密算力，實測在 Qwen3.8-27B-AWQ 上生成吞吐為輝達 Thor T5000 的 1.38 倍，首個 Token 延遲 0.223 秒對 0.411 秒。該終端獨立完成從環境建置、策略訓練到即時模擬的全流程，現場訓練出與輝達同款的機器鴨，為國內端側產品首次本地執行 GPU 加速的物理模擬引擎。
國產端側終端罕見公開與輝達 Thor T5000 的同臺實測數字，並把物理模擬與訓練搬到本機執行，對做機器人端側部署和關注國產 GPU 生態的人有參考價值。
原標題：把黄仁勋的小黄鸭训练放在本地！国产端侧600T算力即将到来
閱讀原文
| 評分 | 60 / 62（平均 61，門檻 65） |
|---|---|
| 狀態 | 未入選 |
相關報導
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
商湯大裝置日均服務 6 萬億 Token，異構推理吞吐提升 5 倍
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
176B MoE 模型在 16GB 視訊記憶體筆記本上跑通
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。