AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
依意思最接近的 28 筆
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Fadell 在 MIT Future Fest 上表示,Rabbit R1、Humane Ai Pin 和 Limitless 掛墜這批第一代 AI 硬體失敗,是因為沒有解決任何真實需求,只是對極客有趣的技術。他指出全球不到 0.01% 的人用過人類助理,多數消費者並不知道助理是什麼,建立信任需要數年。
The Verge 刊文指出,隨著 AI 硬體的出現,科技公司正在重新定義什麼才算「錄製」。過去帶麥克風或攝像頭的裝置基本只有開與關兩種狀態:麥克風採集聲音、攝像頭採集影像,資料先儲存在裝置上,有時再上傳雲端處理,這些被保留下來的時間切片就是錄製。文章認為這一定義正被打破,並援引 Bloomberg 記者 Mark Gurman 上週的報導,稱 Apple 正在開發一款智慧家居產品。
doubleAI 發布 Maxwell,稱其為介於程式碼與硬體之間的 Code Execution Model,能在程式執行過程中加速程式碼,且不修改任何一行原始碼。它通過 trace、profiling 資訊和流經程式的資料觀察程式,並動態適配硬體、同機其他負載與輸入形態。目前已在 heymaxwell.ai 開放早期訪問。團隊認為,針對每種硬體和資料流反覆重新最佳化(如 vLLM 這類 LLM 推理引擎)不可擴充套件。
德國聯邦政府與輝達簽署意向宣告,將聯合推進面向物理 AI 的前沿模型,並對接德國“工業 4.0 平台”。黃仁勳同時宣布投資 Agile Robots、Avelios Medical、Mirelo、Reflex Aerospace 四家德國初創,屬於其在歐洲近 100 億美元投入的一部分。西門子同日宣布與輝達合作推進自主工廠,全虛擬產線除錯可減少最多 85% 的工程工作量,基於智慧體的生產規劃最高可降本 20%。
OpenAI 新平台發布系列首篇隨筆《永恆的互補》,作者為 Hemanth Asirvatham 與 Elliott Mokski,文末註明觀點不代表 OpenAI。文章引用 Nick Bloom 等研究:維持摩爾定律所需研究人員數量是 1970 年代初的 18 倍以上,1930 年代以來全經濟有效研究投入增長 23 倍,而研究生產率下降 41 倍。作者據此提出「制度智慧」概念,認為前沿智慧與執行能力互為補充,超級智慧的價值可能更多體現在重複性執行工作上。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
Meta 開源了讓使用者自製 Muse AI 硬體裝置的程式碼,Muse 是其新的 AI agent。官方建議的玩法包括把 Muse 裝到彩色 E Ink 屏上顯示提醒、裝到 HDMI 棒上投到大屏,或裝到小觸控式螢幕裝置上做成類似 DIY Muse Charm 的形態。使用者可用現成 ESP32 板或 Raspberry Pi 配合官方 SDK,連線顯示屏、按鈕、感測器、執行器等外設。
Mistral 宣布與輝達建立新合作,將 AI 引入工業工程,並加快模擬速度。合作還包含為物理 AI 發布開放基準與配套資料集,以及為 CAE、EDA 中的 agentic AI 提供評測。更多資訊見 Mistral 官方公告。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
Cerebras 聯合創始人兼 CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上稱,人人家裡都有一臺 AI 裝置的未來並不遙遠,個人 AI 助理會像手機一樣部分在本地執行、部分回到雲端。他預計這些助理會非常瞭解使用者、擁有獨立的安全邊界,還能接入信用卡代為購物。Feldman 自己已用一組 agent 整理日程、準備通話物件的背景資料,但他表示消費級創意留給其他創業者,Cerebras 只做平台。
AI 現在能在數天內自動反編譯遊戲,把編譯後的成品還原成原始碼再重新編譯到其他平台,產出支援高幀率、動態解析度與模組的原生版本。作者舉例 IsaacRecomp 將 2011 年 Flash 版《以撒的結合》自動移植為 C++,從鎖定 30FPS、低解析度變為原生 1440p、插值到 165FPS,同類專案已有數百個,涵蓋《科林麥克雷拉力賽 2.0》《最終幻想戰略版 Advance》《銀河戰士 Prime》,開發中的 AnyPS5 號稱可把任意 PS5 遊戲移植到 PC。
輝達在 GTC Berlin 發布 DSX POD 參考設計:由合作伙伴在模組化集裝箱內整合並驗證完整的 Vera Rubin AI 工廠,站點水電就緒後現場部署可從六個月縮短到 14 天。Vera Rubin 已全面量產,DSX 平台稱冷卻用水最多減少 100%,同等 AI 產出省電 30%。
NVIDIA 與微軟在舊金山活動上發布 RTX Spark,把完整 NVIDIA AI 棧裝進 Windows 筆記本與緊湊桌上型電腦,筆記本即日預售、10 月 16 日發售,桌上型電腦 11 月上市。
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
NVIDIA Vera CPU 被 Nebius、Nscale、Verda 等歐洲 AI 雲服務商採用,用於搭建面向 agent 的基礎設施。Vera 承擔 agent 檢索資訊、執行程式碼與執行工具時的 CPU 計算,官方稱在同時執行數千個任務時仍能保持回應速度。Dell、HPE、Lenovo、Supermicro、Bull 將推出 Vera 系統;ClickHouse、SAP、Elastic 等稱早期測試中分析與 ETL 負載表現良好;
Google DeepMind 官方帳號提到,Apptronik 的 Argon 能把影片變成物理 AI 的訓練場,將原本需要數週的人工建模壓縮到幾個小時。這條推文以回覆 @Apptronik 的形式發出,正文只有這一句說明和一個 goo.gle 短連結,沒有披露涉及的機器人平台、影片資料規模或可用範圍。資訊發布於 2026 年 10 月 13 日。
官方只支援 Windows 的 ASUS ProArt P16(128GB 記憶體版)已被裝上 Arch Linux ARM 並能正常使用。作者基於 NVIDIA 面向 Ubuntu 的核心工作,補齊 ACPI 覆蓋、hid-asus 鍵盤與音訊驅動,做出可啟動映象,並擴充套件 Archinstall 4.5 來安裝硬體支援;7-Zip 單執行緒成績與 Windows 基本持平,20 執行緒壓縮約領先 5%、解壓約領先 3%。
微軟與輝達在舊金山為首批 RTX Spark 筆記本舉辦發表會,這是輝達新的 AI PC 計算平台。其晶片採用 Arm 架構,而非 AMD、Intel 傳統的 x64,並搭配高效能 GPU,定位面向 AI 的 Windows 筆記本。微軟與輝達為此投入大量工作,讓 Windows 適配這批新機器。
NVIDIA 部落格介紹了三家 Inception 計劃中的乳腺癌 AI 初創公司,其中 iSono Health 已獲 FDA 許可的可穿戴自動化 3D 超聲 ATUSA 每側乳房約 2 分鐘完成標準化掃描,傳統手持超聲最多需 45 分鐘,公司稱其敏感度高出 28%。該系統基於 150 萬幀超聲影像訓練,已在加州、得州等地合作診所商用,並啟動 3200 名患者的多中心臨床研究。
NVIDIA 發布 AIOps 平台 Minerva,為 AI 工廠提供端到端可觀測性。它把 GPU、網路、儲存、排程器與工作負載的遙測匯入動態知識圖譜,每小時分析數十億資料點,用於發現異常、預測故障並把告警風暴聚合為帶根因的事件;平台還內建 AI 助手,可連線外部 agentic 工具,目標是提升 GPU 正常執行時間與 AI 工廠產出。
Intel 公布面向 agentic AI 的資料中心推理 GPU D270,單卡最高 480GB LPDDR5X 記憶體,350W 風冷,不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎,用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
巴塞羅那超級計算中心(BSC)的 AI 工廠加速計劃在試點後全面運營,為初創公司提供主權算力、技術支援與培訓,其部分服務現已可通過 NVIDIA Inception 門戶申請。該 AI 工廠是歐洲首批、西班牙首個 AI 工廠,自 2025 年 4 月啟動以來已向公私客戶交付 800 多項服務;搭載輝達加速計算的 MareNostrum 5 即將擴容。試點 demo day 上,Qatium、OneCareAI、Avatia 獲評 AI Champion,分別做水管網智慧、ECG 隱藏心房顫動識別和藥企多智慧體語音系統。
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
前輝達產品營銷負責人、現 Techable Ventures 創始人 Amulya Vishwanath 表示,物理 AI 目前仍處於「樂高時代」,機器人領域的 ChatGPT 時刻尚未到來。她認為,當前行業仍在搭建機械手、執行器等基礎構件,通用與專用機器人並行推進,只有這些模組成熟組合後才可能迎來突破。她同時強調人才是關鍵壁壘,大量人才正流向 Anthropic、輝達等大公司。
llama.cpp 發布 b11486 建置,Hexagon 後端的 GELU 啟用函式精度得到改進(#30104)。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端,覆蓋 Linux arm64、Android arm64 與 Windows arm64。
Reddit 的 r/LocalLLaMA 版塊一則帖子下,使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢,可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上;也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
llama.cpp 合併 PR #30296,把 CPU 上的 AVX2 分塊累加器(tiled accumulators)歸併處理,用於最佳化 x86 CPU 推理,改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置,覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。