10 月 19 日，Hugging Face 部落格宣布 AWS 的 TorchNeuron 將於 10 月 20 日進入公開測試：它是 AWS Trainium 晶片的原生 PyTorch 後端，可通過 pip install torch-neuronx 安裝，Transformers、Diffusers 與 Ker… 看完整事件
TorchNeuron 教程：在 Trainium 上分析推理效能
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上系統分析推理耗時。教程從零配置 torch.profiler 與 NeuronConfig/NeuronProfiler 捕獲 trace，並讀取 key_averages() 表比較 CPU 與 Neuron 裝置時間。
為 TorchNeuron 使用者提供可復現的 profiling 配置與 Neuron Explorer 追蹤方法，RMSNorm 三種實現對比展示如何定位 Trainium 推理耗時。
原標題：Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
閱讀原文
| 評分 | 66 / 65（平均 65，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Google 開源 TorchTPU，為 TPU 提供 PyTorch 原生後端
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
Neuralwatt 實測：harness 快取差異可讓請求能耗翻倍
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
OpenAI 可解釋團隊建立人：神經網路並非黑箱，90% 神經元只有一個功能
OpenAI 可解釋團隊建立人 Nick Cammarata 髮長文稱，神經網路並非多義糾纏的黑箱，疊加（superposition）假說被看錯了，可解釋性可能很快被解決。他重查 InceptionV1 中同時回應貓臉與汽車前臉的神經元，發現二者共享 V 形特徵；對 Qwen3-32B 的初步審查顯示約 90% 神經元正負兩極各有一項主要工作，約 7% 有兩項，2%—4% 未理解，並在 Kimi K3 上做出已知首個萬億引數模型歸因圖。
Jev 走紅，NeurIPS 2025 論文 ConfTuner 早已探索相似思路
TypeSafe AI 的 Jev 模型近期走紅，其介面可直接返回預設選項、分數或事件機率，供程式碼呼叫，但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score，僅用對錯標籤即可訓練置信度機率分佈，在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884，4 張 A40 上約 4 分鐘完成微調。