llama.cpp releasesAI 評分46
llama.cpp 重構 SYCL 後端 XMX 多列矩陣乘，新增融合 gate/up 核心
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q，並新增融合 gate/up 核心：一次啟動即算出 up*act(gate)，最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用，面向投機解碼驗證（每步 2 到 8 個 token）與 9 到 80 token 的短 prompt 批次。
搜尋
依意思最接近的 22 筆
Hacker News front pageAI 評分69
Intel 公布 D270 推理 GPU：480GB 記憶體、350W 風冷
Intel 公布面向 agentic AI 的資料中心推理 GPU D270，單卡最高 480GB LPDDR5X 記憶體，350W 風冷，不依賴 HBM。晶片面積從圖形與光追管線轉向 32 個 Xe3P 核心和 256 個 XMX 矩陣引擎，用於加速長上下文、多輪 agent 工作流的 prefill 與高併發服務。
Hacker News front pageAI 評分41
doubleAI 發布 Maxwell：位於程式碼與硬體之間的執行模型
doubleAI 發布 Maxwell，稱其為介於程式碼與硬體之間的 Code Execution Model，能在程式執行過程中加速程式碼，且不修改任何一行原始碼。它通過 trace、profiling 資訊和流經程式的資料觀察程式，並動態適配硬體、同機其他負載與輸入形態。目前已在 heymaxwell.ai 開放早期訪問。團隊認為，針對每種硬體和資料流反覆重新最佳化（如 vLLM 這類 LLM 推理引擎）不可擴充套件。
llama.cpp releasesAI 評分42
llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
llama.cpp releasesAI 評分56
llama.cpp 為 SpacemiT X60 補上 Q8_0 IME1 核心
llama.cpp 合併 PR #28479，為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K，且建置時 GGML_CPU_REPACK=OFF，Q8_0 無加速路徑，prefill 比 Q4_0 慢約十倍。
Apple Machine Learning Research● 精選AI 評分85
MLX 新版發布：4 臺 Mac Studio 叢集跑 816B 模型超 36 tokens/s
MLX 今日發布新版本，支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集：4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open（816B MoE，NVFP4 精度）解碼超過 36 tokens/s，高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B，在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
llama.cpp releasesAI 評分40
llama.cpp b11696 修正 Hexagon HMX FA sinks
llama.cpp 新建置 b11696 修正了 Hexagon NPU 上 HMX 核心的 flash attention sink 計算，並把 sinks 做了向量化，提交由高通工程師 Max Krasnyansky 參與。該版本照例給出 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；
llama.cpp releasesAI 評分42
llama.cpp 對 MoE amax 架構停用 -sm tensor 張量拆分
llama.cpp 建置 b11858 起，對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分（#31081）：amax 的 POOL_1D 歸約跨越整個 matmul 行，單個裝置無法從 axis-0 拆分中算出結果，因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
llama.cpp releasesAI 評分45
llama.cpp 為 Adreno X1 新增 MxFP4 MoE 核心
llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel（gemm_moe_mxfp4_q8_1_dp4a_ila_ldck），並在 X1E 上啟用 dp4a clc，用於加速驍龍裝置上的 MoE 模型推理。
X @elonmuskAI 評分37
馬斯克稱 SpaceX 與輝達合研的 Star Mind 明年量產
馬斯克在 X 上表示，SpaceX 與輝達聯合研發的 Star Mind 計算機「遠超幾乎所有人的預期」，將於明年（2027 年）進入量產。他同時稱讚黃仁勳是「老朋友」，並稱與輝達工程團隊合作「純粹是快樂」。推文未披露 Star Mind 的用途、規格、算力或客戶，也沒有給出量產的具體時間點與規模。
TechCrunch AI● 精選AI 評分91
SpaceXSI 把 X Premium、Grok、Cursor 打包成一份訂閱
SpaceX Super Intelligence（SpaceXSI）將 X Premium、Grok 與 Cursor 合併為一份名為 The X Subscription 的訂閱，分 free、Plus 8 美元、Premium 30 美元、Super 100 美元、Ultra 200 美元五檔，檔位越高 AI 用量上限越高。免費檔僅提供有限的聊天與 agent 用量，最新 Grok 模型需 Premium 及以上；
llama.cpp releasesAI 評分43
llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
Hacker News front pageAI 評分68
Vx 發布：把 CPU、GPU、NPU 記憶體寫進型別系統的程式語言
Vx 是一門面向異構計算的系統程式語言，把 CPU、GPU、NPU 與加速器記憶體納入型別系統，主機執行緒解引用裝置指標會直接編譯報錯而非執行時崩潰。它要求跨記憶體空間的資料移動顯式呼叫 transfer()，並用機器檔案描述 H100、H200、B200、A100、MI300X、Apple M4 等真實硬體的記憶體層級與互連，編譯期據此接受或拒絕放置方案。
llama.cpp releasesAI 評分37
llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ
llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
llama.cpp releases● 精選AI 評分62
llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
Ollama releasesAI 評分42
v0.40.5：MLX 的 Metal 自訂核心移植到 CUDA
v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA，MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中，OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫，應用端澄清了雲支付報錯提示，文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升，以及新貢獻者 @willietran 的首次提交。
X @elonmuskAI 評分29
X 時間線推薦換用新 AI/SI 排序與檢索模型
馬斯克公布 X 時間線推薦的兩項改動：一是啟用新的 AI/SI 排序模型，稱其能更準確預測使用者可能停留的時長；二是上線專門訓練的檢索模型，把使用者會完整讀完的帖子推到更前面。他同時表示，使用者活躍秒數正指數增長，幾乎每天都在重新整理歷史新高。具體上線時間與適用範圍未作說明。
Ollama releases● 精選AI 評分75
Ollama v0.40.0：Apple Silicon 預設用 MLX 跑模型
Ollama 發布 v0.40.0，在 Apple Silicon 裝置上，MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5，決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX，官方稱會繼續測試並啟用更多模型。
Ollama releases● 精選AI 評分82
Ollama v0.40.0：Apple Silicon 預設用 MLX 執行模型
Ollama 發布 v0.40.0，在 Apple Silicon 裝置上，MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8，其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5；決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX，並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。
NVIDIA blog● 精選AI 評分65
NVIDIA 開源 Vera Rubin 機架設計，MGX 1.2 支援單機架 250kW
NVIDIA 在 OCP 全球峰會上把 Vera Rubin 機架與計算托盤設計通過 MGX 開放架構貢獻給 OCP，併發布 MGX 1.2 規格。MGX 1.2 新增機架級盲插液冷、5000A 液冷母排與原生 19 英寸裝置支援，單機架部署最高 250kW，同時加入面向 agentic AI 的 Vera CPU 機架設計。
MLX releasesAI 評分58
MLX 0.32.4 發布：Metal 新增 1-bit 仿射量化
MLX 發布 0.32.4，Metal 後端新增 1-bit 仿射量化支援，mlx.core.fft 新增 stft 與 istft 音訊變換運算元。同版本加入 Python 3.15 與 3.15t 支援、整數整除原語 FloorDivide、SDPA 與 gated delta net 的 VJP，並新增 MLX_CONV_WINOGRAD 開關以停用 conv2d 的 Winograd 實現。
llama.cpp releasesAI 評分41
llama.cpp b11804 為 OpenCL 後端補上 ARGMAX 運算元
llama.cpp 發布 b11804 建置，為 OpenCL 後端新增 F32→I32 的 ARGMAX 運算元（#30897），並把 OpenCL 初始化改為置 0，與 CPU 後端保持一致。該提交有高通工程師參與協助。同版本預編譯包覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端；