AISpot

TorchNeuron 公測:HF 模型原生跑在 AWS Trainium

Hugging Face blog官方公告開發工具地端推論產品與方案

TorchNeuron 將於 2026 年 10 月 20 日進入公開測試,為 AWS Trainium 提供原生 PyTorch 後端,可用 pip install torch-neuronx 安裝。

官方給出可量化對比:Transformers 開箱支援率從 Optimum Neuron 的 46% 提升到 89%,且從 lazy tensor 轉向 eager 執行與原生分散式 API,對在 Trainium 上做推理和微調的團隊最直接。

原標題:TorchNeuron: running HF models on AWS Trainium is easier than ever
閱讀原文

評分64 / 73(平均 68,門檻 65)
狀態精選

相關報導

r/LocalLLaMA top of the dayAI 評分71

Hugging Face 發布多 harness RL 訓練指南

Hugging Face 後訓練團隊發布了一份多 harness 強化學習指南,介紹如何用 TRL 和 Harbor 等開源庫在不同 coding harness 中訓練開放模型。團隊稱,針對當前各人自建 harness(如 Pi 加擴充套件)的現狀,該方案給出了用任意開放模型在自訂 harness 上取得最佳效能的配方。指南已發布在 Hugging Face Spaces 上,作者歡迎反饋。

機器之心● 精選AI 評分68

Jev 走紅,NeurIPS 2025 論文 ConfTuner 早已探索相似思路

TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。

機器之心● 精選AI 評分82

OpenAI 可解釋團隊建立人:神經網路並非黑箱,90% 神經元只有一個功能

OpenAI 可解釋團隊建立人 Nick Cammarata 髮長文稱,神經網路並非多義糾纏的黑箱,疊加(superposition)假說被看錯了,可解釋性可能很快被解決。他重查 InceptionV1 中同時回應貓臉與汽車前臉的神經元,發現二者共享 V 形特徵;對 Qwen3-32B 的初步審查顯示約 90% 神經元正負兩極各有一項主要工作,約 7% 有兩項,2%—4% 未理解,並在 Kimi K3 上做出已知首個萬億引數模型歸因圖。

NVIDIA blog● 精選AI 評分87

輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型

輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL,主打多模態 agentic 任務,官方稱其準確率接近自家最大推理模型、引數量約為五分之一,吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型:Bolt 74B-A9B 24GB 採用原生 2-bit 量化,可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent,現已可用;Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置,10 月 23 日發布。

Hacker News front page● 精選AI 評分79

Neuralwatt 實測:harness 快取差異可讓請求能耗翻倍

模型雲服務商 Neuralwatt 分析一個月流量發現,同一模型下不同 agent harness 的 prompt 快取命中率差異明顯,未快取輸入佔 1.6%–11.1%,而一次快取未命中會讓請求能耗約為全快取時的兩倍,GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取,97% 時只有 3 個,prefill 工作量相差 2.7 倍。