llama.cpp releasesAI 評分42
llama.cpp 改進 RPC 張量傳輸日誌，修復命令名顯示
llama.cpp 合併 ggml RPC 張量傳輸日誌改進（#30481）：新增 rpc_log_format_size()，在客戶端、服務端與傳輸層日誌中以 KiB/MiB/GiB 列印位元組數；新增 rpc_log_format_tensor()，在 set/get/memset/copy/init 張量日誌中帶上張量名、運算元、型別與形狀。
搜尋
依意思最接近的 30 筆
量子位● 精選AI 評分71
記憶張量開源 MemT 1.0，記憶原生模型最大 288B 引數
記憶張量開源 MemT 1.0 系列記憶原生模型，最大型號 Flash 總引數 288B、啟用 17B，較小的 Nano 為 36B 總參、3B 啟用。兩者分別在選定的 Transformer 模組里加入與原注意力並行的記憶分支，把經驗編碼成可更新的內部矩陣狀態，據稱為記憶原生模型首次做到近 300B 引數規模的工程驗證。在 SWE-bench Verified 的 500 項任務各跑三次中，Nano 三次全成功率由無經驗的 54.00% 升至 62.80%；
Hugging Face blog● 精選AI 評分77
TorchTPU 發布：Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地，Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行，不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令；
Hacker News front pageAI 評分72
斯坦福 Ousterhout 提出 Homa 協議替代 TCP
斯坦福教授 John Ousterhout 在 AI Engineer 演講中提出 Homa，一種面向資料中心的全新傳輸協議，認為 TCP 和 RDMA 正成為 AI 叢集的瓶頸。他指出 AI 負載已從大流量梯度傳輸轉向 KV cache 查詢、屏障同步等小訊息協調，這類訊息對延遲敏感，一旦與大數據流混排就會陷入 incast 佇列，拖高尾延遲並讓 GPU 空轉。Homa 基於訊息而非位元組流，採用接收端驅動的擁塞控制，並用 SRPT 優先排程短訊息。
TechCrunch AI● 精選AI 評分81
AWS 發布 TorchNeuron，一行配置把 PyTorch 應用遷到 Trainium
AWS 發布開發工具 TorchNeuron，用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上，無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch，熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游，推動框架硬體無關；Trainium 兼顧訓練與推理，AWS 強調價效比，語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
機器之心● 精選AI 評分84
Anthropic 研究：AI 可在廉價電視盒子上自主複製傳播
Anthropic 前沿紅隊發布研究，測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B，總價約 825 美元，生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點，但依賴外部推理伺服器與預開的免認證 ADB 埠；
機器之心● 精選AI 評分83
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
Hacker News front pageAI 評分65
部落格審視 OpenAI 聲稱更快的傅裡葉變換數學
argmin.net 刊出文章，審視 OpenAI 聲稱能更快計算傅裡葉變換的數學方法。該帖在 Hacker News 上獲得 43 分、17 條評論，討論圍繞這一加速宣稱的數學依據是否成立。
llama.cpp releasesAI 評分45
llama.cpp Metal 後端新增 BF16 張量 flash attention 核心
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
llama.cpp releasesAI 評分45
llama.cpp b11680：Hexagon 後端重構張量重打包，支援分塊量化與 FP 權重
llama.cpp 發布建置 b11680，Hexagon NPU 後端完成張量重打包（repacking/tiling）重構：新增對分塊與扁平量化權重、以及 F16/F32/BF16 二維權重的重打包支援，分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS。該版本移除了 need_repack hack，並清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯，最佳化小 src1 的 get-rows 效能。
機器之心● 精選AI 評分76
記憶張量開源首個記憶原生基座模型 MemT 1.0
記憶張量發布並開源 MemT 1.0，稱其為業內首個記憶原生基座模型，歷史資訊被編碼為可更新的內部記憶狀態，隨每輪對話逐 token 更新並可跨會話儲存恢復。兩個版本為 MemT-1.0-Flash（288B 引數、17B 啟用、336M 動態記憶）與 Nano（36B 引數、3B 啟用、10M 動態記憶）。
TechCrunch AI● 精選AI 評分80
Google 開源 TorchTPU，PyTorch 應用改配置即可跑在 TPU 上
Google 宣布開源 TorchTPU，PyTorch 應用只需改配置、無需重寫程式碼，就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch，而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium，並向 PyTorch 主專案提交程式碼，把各項特性與 Nvidia 晶片解耦。
Hacker News front pageAI 評分67
Anthropic 稱自複製 AI 蠕蟲或數月內出現
Anthropic 週一發布研究報告，稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理，Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒；GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B，5 次試驗中 4 次全部成功。
Hacker News front page● 精選AI 評分84
Google 開源 TorchTPU，為 TPU 提供 PyTorch 原生後端
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
Simon WillisonAI 評分23
班·艾佛列克談 VFX 中已用多年的機器學習
班·艾佛列克在引述中表示，視覺特效工作流多年來一直包含機器學習，他把卷積神經網路（CNN）稱為 transformer 的前身，區別在於後者能同時做更多計算。他自述能寫「很糟糕的 Python 指令碼」，並解釋張量是畫面在數值上的翻譯——批次號、幀號，以及每幀每個畫素的紅綠藍值。CNN 在張量上做邊緣檢測與特徵提取，識別出窗臺在哪裡，就能更容易地把綠幕部分摳掉並替換成別的內容。
NVIDIA blogAI 評分48
輝達報告：89% 電信運營商重視開源模型
輝達《State of AI in Telecommunications》報告顯示，89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製，用於自主網路、客服等關鍵負載，並把閉源模型留給價值最高的場景；輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model（由 AdaptKey 在開源電信資料集上微調），並提供基於 NeMo 的端到端微調流程。
llama.cpp releasesAI 評分43
llama.cpp 按專家 token 縮放 MoE 下投影，並支援張量並行
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子：沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理，沿 axis 0 切分時變成各裝置複製的部分結果，從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回，並清理註釋。
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
Latent SpaceAI 評分51
Latent Space 專訪 MIT Alex Zhang：談 RLM 與 agent 叢集
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang，他是 Recursive Language Models（RLM）的作者，也是 GPU Mode 社群成員。
Google Developers blogAI 評分60
TorchTPU 把原生 TPU 後端接入 PyTorch
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch，開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件，在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端，便於在 TPU 上擴充套件自有負載。
Google Developers blog● 精選AI 評分72
vLLM 與 SGLang 新增 TPU 原生 PyTorch 後端
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
Google Developers blog● 精選AI 評分78
LiteRT 發布 Tensor API，可用 C++ 手寫端側模型圖
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
Hacker News front pageAI 評分71
Anthropic 用 Lean 自動形式化費馬大定理，11 天生成 1300 萬行
數學形式化正從人工轉錄轉為 AI 自動形式化：Anthropic 於 2026 年 9 月 4 日宣布完成費馬大定理的自動形式化，11 天生成 1300 萬行 Lean 程式碼；OpenAI 9 月 8 日公布 Navier-Stokes 強制爆破定理時也附帶了 Lean 形式化。此前 Math Inc. 在 24 維球填充問題上生成約 50 萬行程式碼，Meta 的 ATLAS 專案則自動形式化了 26 本教科書的大部分內容。
Claude blog● 精選AI 評分63
Block 用 Claude Fable 編排遷移，單次數千 PR 由數十個小模型執行
Square 與 Cash App 母公司 Block 的 AI 負責人 Bradley Axen 介紹了用 Claude Fable 5 編排大規模程式碼遷移的做法：單次遷移涉及跨倉庫的數百到數千個 PR、數百萬行程式碼，由 Fable 負責資料模型、API 規格等高層設計，再排程數十個 Opus、Sonnet 等更便宜的模型完成具體檔案修改與測試，全程跑在其開源協作工作區 Buzz 上。早期結果顯示前沿 token 集中在前期規劃、執行更多交給小模型，品質沒有下降。
量子位● 精選AI 評分87
陶哲軒宣告數學 2.0 時代：AI 讓證明從稀缺走向氾濫
菲爾茲獎得主陶哲軒發布《數學 2.0》演講，宣告建立在證明稀缺之上的數學 1.0 時代落幕：AI 正讓數學證明變得氾濫。他呼籲建立更透明的評估機制，把失敗結果與算力成本一併納入報告，並減少對搶先生成證明的強調，轉而重視解釋、評審與知識整理；其參與創立的 SAIR 基金會開放數學模型計劃將很快發布。此番表態的背景是 OpenAI 一次性發布 722 篇數學論文後，陶哲軒牽頭成立人類數學協會（AHM），並呼籲數學家停止與 OpenAI 合作。
量子位AI 評分50
商湯大裝置日均服務 6 萬億 Token，異構推理吞吐提升 5 倍
商湯大裝置日均 Token 服務量已達 6 萬億，並預計第四季度升至日均 10 萬億。其在臨港 AIDC 建成萬卡級異構推理叢集，用 PD 分離把 Prefill 交給國產算力、Decode 交給高頻寬 GPU，並支援節點角色動態切換，在相同高階旗艦卡數量下整體 Token 吞吐提升至 5 倍。此外還在探索跨域 PD 分離與 Attention/FFN 分離，後者有望讓單卡吞吐提升 150%–200%、運營成本降低 30%–40%。
llama.cpp releasesAI 評分50
b11477: llama: share the nextn tensor flags between models (#30097)
llama.cpp 把此前各模型各自複製的 nextn 張量檢測邏輯，統一提取為 llama_model_base 的 nextn_flags 輔助函式：探測第一個 trunk 層和第一個 NextN 層，並在未載入 MTP 時加上 TENSOR_SKIP。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11450：RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
llama.cpp releasesAI 評分41
llama.cpp b11499 發布，CUDA 的 ROLL 運算支援非連續張量
llama.cpp 發布 b11499 建置，CUDA 後端改用位元組步長實現 roll，使 ROLL 運算可以作用於非連續張量（#29547）。該版本照例提供各平台預編譯產物：macOS Apple Silicon 與 Intel、iOS XCFramework，以及 Linux、Windows、Android 的 CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL 建置，其中 CUDA 12 與 13 分別打包 12.8、1…