機器之心● 精選AI 評分78
Google 發布 T2J-Bench：63 個 PyTorch 轉 JAX 整倉遷移任務，TwinHarness 提分 11.4…
Google 等團隊發布 T2J-Bench，用 63 個整倉任務評測 Coding Agent 把 PyTorch 程式碼庫遷移到 JAX 的品質。任務覆蓋 18 個模型家族，含 45 個 LoRA 微調任務和 18 個 paged-attention 推理服務任務，從規範、數值、行為三層檢查。
搜尋
依意思最接近的 27 筆
Google Developers blogAI 評分60
TorchTPU 把原生 TPU 後端接入 PyTorch
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
Hugging Face blog● 精選AI 評分77
TorchTPU 發布：Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
Hacker News front page● 精選AI 評分84
Google 開源 TorchTPU，為 TPU 提供 PyTorch 原生後端
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
機器之心● 精選AI 評分90
Google 開源 TorchTPU，TPU 成為 PyTorch 原生裝置
Google 在 PyTorch Conference 2026 上開源 TorchTPU，讓 TPU 與 GPU、CPU 並列，成為 PyTorch 的原生裝置。專案由 Google 和 Meta 聯合開發；在 Hugging Face Transformers v5 裡只需傳入 device_map="tpu" 即可部署，vLLM、SGLang、Ray、TorchTitan 等已同步接入。
TechCrunch AI● 精選AI 評分80
Google 開源 TorchTPU，PyTorch 應用改配置即可跑在 TPU 上
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
TechCrunch AI● 精選AI 評分81
AWS 發布 TorchNeuron，一行配置把 PyTorch 應用遷到 Trainium
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
Google Developers blog● 精選AI 評分72
vLLM 與 SGLang 新增 TPU 原生 PyTorch 後端
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
Hugging Face blog● 精選AI 評分83
PyTorch 2.15 為 MPS 加入 FP8，MoE 解碼提速 5–6.5 倍
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援，並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s，LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s，詞表 softmax 約快 8 倍。
Hugging Face blog● 精選AI 評分68
TorchNeuron 公測：HF 模型原生跑在 AWS Trainium
TorchNeuron 將於 2026 年 10 月 20 日進入公開測試，為 AWS Trainium 提供原生 PyTorch 後端，可用 pip install torch-neuronx 安裝。
Hugging Face blogAI 評分64
AWS 發布 TorchNeuron 效能分析教程：在 Trainium 上定位推理耗時
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上用 torch.profiler 抓取乾淨的 trace 並定位推理耗時。
機器之心● 精選AI 評分80
Softmax 與交叉熵被曝兩處精度 Bug，DeepMind 給出修復方案
Google DeepMind 發現 PyTorch、JAX、TensorFlow 等主流框架的 Softmax 與交叉熵標準實現存在兩處數值精度 Bug，並提出無需提高浮點精度即可修復的計算方式。其一在正確類別 Logit 領先過大時把梯度錯誤歸零，bf16 與 fp32 的觸發臨界約為 5.5 與 16.6，修復後模 31 加法實驗準確率由 94.3% 升至 100%。
Hugging Face blogAI 評分62
Hugging Face 上線 Trainium 模型相容性查詢 Space
Hugging Face 推出 torch-neuronx 模型支援查詢 Space，可查 Hub 上的熱門模型能否不經修改在 AWS Trainium 上執行。每條結果給出模型分片佔用的 Trainium 核數、含編譯的實際耗時和峰值視訊記憶體，並提供測試所用的 run.py，以及從 NEFF 快取跳過編譯的命令。目前僅覆蓋 Transformers 的文字生成與圖文模型，且只測試能放進 4 張 trn2（16 核）的模型，PASS 不代表吞吐或長文字生成表現。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
Hugging Face blog● 精選AI 評分65
TorchNeuron 教程：在 Trainium 上分析推理效能
AWS 部落格發布 TorchNeuron 效能分析系列第一部分，介紹如何在 Trainium 上系統分析推理耗時。教程從零配置 torch.profiler 與 NeuronConfig/NeuronProfiler 捕獲 trace，並讀取 key_averages() 表比較 CPU 與 Neuron 裝置時間。
llama.cpp releasesAI 評分43
llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置
llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。
Hacker News front pageAI 評分41
Jukebox-OS 發布：為 AI agent 加上 ACID 事務與確定性回放
開源專案 Jukebox-OS 發布，用 Rust 編寫的執行時為 AI agent 加上資料庫級 ACID 事務語義與確定性時間旅行回放。它把每次 LLM 請求、token 流、MCP 工具呼叫和檔案寫入經 BLAKE3 雜湊記錄到可移植的 .jbx 磁帶，副作用先暫存在 copy-on-write 的 WASI 沙箱，只有呼叫 commit 才真正落地，rollback 則不留痕跡。
Google Developers blog● 精選AI 評分78
LiteRT 發布 Tensor API，可用 C++ 手寫端側模型圖
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
TechCrunch AIAI 評分68
非文字模型 Jev 開發商融資 8.7 億美元，估值 75 億
TypeSafe AI 以 75 億美元估值完成 8.7 億美元融資，由 Andreessen Horowitz 領投，紅杉與現有投資方 DCVC 參投。其模型 Jev 於 9 月 15 日發布，基於 transformer 架構但不是大語言模型，不輸出文字而是生成機率，公司稱之為「校準決策」，定位是自動化任務而非寫文字或程式碼。公司稱 Jev 速度明顯更快、消耗 token 遠少於 LLM，並稱已有三分之一財富 500 強企業在使用；
Google Developers blogAI 評分62
A2UI 推出 Express 格式：token 用量最多減至 1/3
A2UI 支援可切換推理格式，新增的 A2UI Express 會把緊湊的 Python 風格語法經 Agent SDK 編譯成標準 A2UI JSON，token 用量最多減少 3 倍，延遲同步下降。開發者還可以結合 TypeSafe 的 Jev 系統決策模型進行受控生成，在 300ms 內渲染出已知結構的介面，同時讓較小模型流式輸出文字。前端渲染器與元件目錄無需改動，Python、TypeScript、Dart 均可使用。
llama.cpp releasesAI 評分41
llama.cpp b11799 為 SYCL 後端加入 q8 快速反量化
llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。
TechCrunch AI● 精選AI 評分80
Vercel：Jev 上線兩週被 35% 付費團隊採用，創最快紀錄
Vercel 資料顯示，TypeSafe AI 的輕量決策模型 Jev 上線兩週內被 35% 付費團隊使用，覆蓋面接近第二名 Sonnet 5.5 的兩倍，是 Vercel 平台上普及最快的模型。Jev 於 9 月 15 日限量發布，通過限定候選輸出降低推理成本、提升速度，適合大批次資料分類，Vercel 已用它替換 GPT-6 Luna 做有害命令分類。
Hacker News front pageAI 評分68
Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
OpenAI NewsAI 評分44
Jump Trading 用 GPT-6 Astra 讓 agent 承擔數天級量化研究
Jump Trading 的 LLM 研發負責人 Lucas Baker 表示，引入 OpenAI GPT-6 Astra 後，可交給 agent 的量化研究工作流在規模與複雜度上大幅提升，從日常寫程式碼擴充套件到需要執行數天、跨多資料來源的完整分析。過去需要頻繁人工指導與干預，現在團隊只需定義安全、可監控的環境與明確目標，讓 agent 自行尋找路徑，並在長任務中自我評估、遞迴改進。在受監管的金融行業，agent 產出的交易訊號仍按普通訊號處理，需人工稽核並納入嚴格控制的執行環境。
r/LocalLLaMA top of the dayAI 評分42
專用推理引擎興起，放棄通用性換極致效能
近期出現一批極窄用途的推理執行時，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性，只針對少數模型甚至單一硬體家族（如 Strix Halo）做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態，並有助於智慧的民主化與去中心化，讓現有硬體在特定配置下榨出最大輸出。
Hacker News front pageAI 評分70
越獄 PS5 用 GPU 跑 llama.cpp，變成區域網模型伺服器
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
量子位● 精選AI 評分65
openJiuwen X-Router 首發，實測減少 50%+ Token 消耗
openJiuwen 團隊發布自演進模型路由技術 X-Router，在 PinchBench 全量 147 個任務實測中，靜態路由得分 66.3%、成本 $8.25，相比全量呼叫 Kimi-K2-Thinking 的 71.36%、$11.11，成本降低 44.6%。該技術基於五檔複雜度分檔路由，用本地 Qwen3-0.6B 做程序內分類器，支援端雲分級與 Bandit 自演進，並已接入 WorkSwarm 的 MoA 多模型協同。