Hugging Face blogAI 評分64
AWS 發布 TorchNeuron 效能分析教程:在 Trainium 上定位推理耗時
AWS 部落格發布 TorchNeuron 效能分析系列第一部分,介紹如何在 Trainium 上用 torch.profiler 抓取乾淨的 trace 並定位推理耗時。
找到 4 筆;也可以試試 語意搜尋
AWS 部落格發布 TorchNeuron 效能分析系列第一部分,介紹如何在 Trainium 上用 torch.profiler 抓取乾淨的 trace 並定位推理耗時。
AWS 部落格發布 TorchNeuron 效能分析系列第一部分,介紹如何在 Trainium 上系統分析推理耗時。教程從零配置 torch.profiler 與 NeuronConfig/NeuronProfiler 捕獲 trace,並讀取 key_averages() 表比較 CPU 與 Neuron 裝置時間。
ggml-openvino 後端更新到 2026.4.1,重點最佳化 Qwen3.5 MoE 推理效能,並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載(cache_only)等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B,pp512 從 66.16 t/s 提升到 1608.73 t/s,tg128 從 25.94 提升到 26.46 t/s,困惑度基本不變。
Simon Willison 發布 web-edit 0.1a1,這是一個在資料夾裡編輯檔案的 Web 應用。他先把 GPT-6 Astra 生成的 Python 3.15 效能分析報告交給 Claude Opus 5.5,由後者寫出了其中的效能最佳化程式碼。該版本於 2026 年 10 月 13 日在他的部落格上公布,0.1a1 的版本號說明它仍是早期 alpha 版本。