llama.cpp b12000 支援 OCP FP8 E4M3 量化
llama.cpp 發布 b12000,新增 OCP FP8 E4M3 支援,覆蓋模型轉換、CPU 推理與 gguf-py 工具鏈,並修復 RedHatAI/Qwen3.8-27B-NVFP4 的轉換問題。轉換路徑補齊了 FP8 權重與 input_scales 的處理,改為結合 dtype 判斷,避免按行 FP8 被誤判走 NVFP4。
依意思最接近的 30 筆
llama.cpp 發布 b12000,新增 OCP FP8 E4M3 支援,覆蓋模型轉換、CPU 推理與 gguf-py 工具鏈,並修復 RedHatAI/Qwen3.8-27B-NVFP4 的轉換問題。轉換路徑補齊了 FP8 權重與 input_scales 的處理,改為結合 dtype 判斷,避免按行 FP8 被誤判走 NVFP4。
三星 Samsung RX Lab-China 團隊提出 ε4P,把兩類不完美機器人示範資料分別限制在 flow matching 的不同噪聲區間參與訓練,三個真機任務的表現都超過了僅使用高精度資料,也遠好於直接混合訓練。ATX 聯結器插入成功率由 48.3% 升至 80.0%,兩階段線纜插接由 78.3% 升至 88.3%,螺栓螺母分揀由 81.7% 升至 91.7%;而直接混合訓練時,這三項分別降到 38.3%、33.3%、73.3%。
輝達宣布計劃投資 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法國初創,方向分別是醫療智慧體、原子級材料工程、通用機器人和企業規劃平台。輝達稱其在歐洲技術生態的累計承諾投入已接近 100 億美元,此前還投資過 Alice&Bob、Gradium 和 Scintil Photonics。
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel(gemm_moe_mxfp4_q8_1_dp4a_ila_ldck),並在 X1E 上啟用 dp4a clc,用於加速驍龍裝置上的 MoE 模型推理。
llama.cpp 發布 0.9.0,底層 ggml 升級至 v0.29.0,新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效,非統一 KV 的 prefill 效能也得以恢復;同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。
10 月 19 日深圳 RISC-V 中國峰會上,阿里達摩院玄鐵首次發布面向自動駕駛與具身智慧的車規產品路線圖,並推出車規增強處理器玄鐵 E908A。E908A 是首款同時達到 ASIL-B 與 ASIL-D 的 RISC-V CPU IP,單點安全度量 SPFM 業內首次超過 90%,面向安全島、域控與車載閘道器。路線圖顯示下一代 C950A 目標效能為現有 RISC-V 車規產品的 5 倍;
Keychron 推出 F4 HE 8K Vibe Coding Keypad,售價 34.99 美元,四個按鍵分別對應傳送提示、語音輸入、接受與拒絕 AI 改動。鍵盤採用 Ultra-Fast Lime 磁軸,支援 0.20–3.30 mm 逐鍵觸發調節,並可通過 Dynamic Keystrokes 為每鍵分配最多 4 個動作,有線輪詢率達 8000 Hz。
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援,並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile,Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s,LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s,詞表 softmax 約快 8 倍。
llama.cpp 合併 PR #28479,為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K,且建置時 GGML_CPU_REPACK=OFF,Q8_0 無加速路徑,prefill 比 Q4_0 慢約十倍。
阿里千問與俄亥俄州立大學提出 TRACE,用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向,在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3,高於 BF16 Rollout 的 74.9,遠超普通 QAT 的 59.6 和 QUADS 的 68.8;128K 輸出長度下解碼吞吐最高提升 5.4 倍,端到端 RL step 僅增約 7.4% 開銷。
llama.cpp 發布 b11718,恢復 FFN 路徑上的 ESIMD 核心,並將 FFN 路徑的 ESIMD 融合擴充套件到 Q8_0 量化。該改動由 Intel 的 Todd Malsbary 提交,同時移除了 test-backend-ops 中顯式引用 ESIMD 的註釋。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
llama.cpp 建置版本 b11540 發布,核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理(PR #29809)。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;
llama.cpp 發布建置 b11811,為 KleidiAI 後端新增 Q8_0 的 SVE dotprod GEMV 與 SVE i8mm GEMM 核心(#30808),即面向 Arm 平台的量化運算加速。
Google 一顆搭載 TPU 的衛星已在軌啟動 AI 晶片,機載 Gemma 4 模型完成首次太空推理並回傳結果。測試中模型按提示寫了一首關於身處太空的俳句,Google 還試了其他太空主題打油詩與遙測提示詞。這是實驗專案 Project Suncatcher 的一部分,最終目標是建設太空 AI 資料中心;該衛星此前已發射入軌。
ESP32-S3 實現 SIMD 加速 FAST 檢測器,QVGA 約 6ms。該晶片是雙核 240MHz、整合 WiFi 與藍牙 LE 的 2 美元級 MCU;作者用 128 位 SIMD 彙編重寫 FAST 角點預測試,吞吐從 5.1MP/s 升至 11.2MP/s,約 2.2 倍,足以處理 30fps VGA 影片流。為繞開非對齊讀取、僅支援有符號 8 位比較與飽和運算等限制,採用相鄰暫存器切片拼接和異或 0x80 把無符號畫素線性對映到有符號區間;原始碼已公開,作者還為此寫了簡易暫存器分配器 basm。
歐洲廣播聯盟(EBU)與 NVIDIA 擴充套件其主權 AI 框架,把主權雲廠商、開源模型開發方與系統整合商納入,為廣播機構部署 agent 規定資料、模型與安全的參考架構;EBU 覆蓋 55 國 115 家以上成員機構、受眾超 10 億。微軟以 Azure Local、Foundry Local 支援本地處理敏感素材,Nebius 提供歐洲境內模型訓練與微調,NVIDIA Nemotron 開源模型可供定製,Qvest 等負責落地整合。
輝達在歐洲的雲合作伙伴集體擴容,其中 Mistral 在自有歐洲資料中心用 3800 塊 Grace Blackwell GPU 訓練出最新前沿多模態模型 Mistral Large 4,覆蓋編碼、agentic 工作流與多模態理解,其 Vera Rubin 基礎設施計劃 2027 年交付。Nscale 用 GB300 NVL72 與 DSX MaxLPS,在同等供電預算下多部署 37% 的 GPU,聚合推理吞吐提升近 50%。
Ollama 上線由 Recursive SI 開發的約 40B 引數 MoE 開源模型 Flint,面向端側 agentic coding 場景。官方給出短上下文下的生成速度:M4 Pro MacBook Pro 上超過 125 tps,64GB 視訊記憶體的 NVIDIA RTX Spark 上超過 150 tps。
Epic 公開發布用 AI「vibe coding」從零重寫的新版 Epic Games Launcher 預覽版,官方稱它比當前版本和 Steam 都更快、回應更靈敏,並換了新外觀。Epic Games Store 總經理 Martin Keely 表示,團隊把 AI 當作編寫和審查新功能的工具,目標是復刻舊版已有功能但不復用原有程式碼,讓一個小團隊更快跨平台發布。預覽版支援 Windows 與 Mac,Linux 版本也將推出。
llama.cpp 發布 b11799 建置,新增 SYCL 後端的 q8 快速反量化(#30775),可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包,涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本;SYCL 建置則分為 FP32 與 FP16 兩版。
Mistral 與 NVIDIA 宣布合作開發 AI 原生工程工作流:以 Mistral Large 4 配合資料生成與物理建模管線,用 NVIDIA CUDA-X、Warp 加速模擬,並接入 Omniverse 生成 3D 場景與 SimReady 資產。雙方還將發布物理模型的公開基準與開放資料集,併為 CAE、EDA 中的 agentic AI 建立評測,考察工具使用、多步流程與技術正確性,同時記錄耗時與算力成本。
10 月 16 日,範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域(ModelSphere),面向企業免費開源,以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程,可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片,無需為不同晶片重寫底層程式碼。
llama.cpp 建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法(MUL_MAT_ID)與 GEMM 的最小值處理錯誤,避免量化 MoE 模型在 GPU 上算出錯誤結果。同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID,不再走不支援的精度路徑。
Google Project Suncatcher 原型衛星首次在軌用 TPU 執行 Gemma 4,完成生成式推理並把完整回應回傳地面。這顆 10 月 1 日由 SpaceX 送入軌道的衛星搭載四顆 TPU、供電約 1kW,受功率限制每次只能啟動一顆,單次執行約 20 分鐘。下一步將重點驗證 TPU 在軌道熱應力與輻射環境下的表現,並計劃 2027 年發射兩顆具備高速光通訊的衛星測試星間互聯。
Recursive 發布免費編碼模型 Flint,以 Apache 2.0 許可在 Hugging Face 開放下載,可在筆記本上離線執行。它是 40B 引數的混合專家模型,每次只啟用 2.5B 引數;在搭載 M4 Pro 的 MacBook Pro 上約 131 tokens/秒,約為同機 Gemma 4、Nemotron 3.5 Lightning 的兩倍;在 SWE-Bench Verified 上優於所有 50B 以下模型。
Ollama v0.40.8 加入 Recursive 的編碼模型 Flint,執行 ollama run flint 即可執行。Flint 採用 Apache 2.0 許可,是 40B 引數的混合專家(MoE)模型,每個 token 約啟用 2.5B 引數,支援推理、多輪工具呼叫與 262K token 上下文,面向跨倉庫的程式碼理解、缺陷追蹤、功能實現與補測試。
崑崙萬維旗下 Skywork AI 發布並開源遊戲世界模型 Matrix-Game 4.0,稱其為全球首款可在單張消費級顯示卡上即時執行的遊戲世界模型。它在 RTX 5090 上以 60 FPS、480p 畫質執行,按鍵到畫面回應不到 0.15 秒,視訊記憶體峰值約 18.5GiB。做法是把世界狀態與遊戲規則交給遊戲引擎維護,影片模型只負責生成畫面,Coding Agent 可用自然語言改寫遊戲程式碼,例如把計時賽變成追擊戰。
llama.cpp 發布 b11985,Metal 後端三項改動提速:MXFP4 矩陣向量核心改用 fp16 位技巧解碼 fp4 值、以對齊的 32 位字載入打包 nibble,不再佔用 threadgroup 記憶體;連續 unary/binary 與行廣播 binary 路徑改為每 threadgroup 最多 256 執行緒並對尾部做邊界檢查;GLU 的每行拆分到多個 threadgroup,單行 decode 不再只用一個 threadgroup。
Epic Games 已通知員工,延期中的迪士尼遊戲將改為 AI first 專案,由全 AI 工作流生成、不再手寫程式碼。該專案包含漫威與星球大戰角色,原定今年 3 月發布,因低估所需人力而延期;此前 3 月公司已裁員 1000 人。據 Bloomberg 報導,員工得知訊息後十分震驚,有人希望這只是玩笑,Epic 發言人則確認正在推進 AI 加速開發,迪士尼未作回應。