llama.cpp releasesAI 評分45
llama.cpp Metal 後端新增 BF16 張量 flash attention 核心
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
搜尋
依意思最接近的 30 筆
llama.cpp releasesAI 評分33
llama.cpp 為 WebGPU 後端加入 f16 支援
llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…
llama.cpp releasesAI 評分37
llama.cpp 修復 ARM NEON fp32→fp16 未走硬體指令
llama.cpp 建置 b11761 修復了 ARM NEON 分支只選中 fp16→fp32、漏掉 fp32→fp16 的問題：此前該方向一直靜默回退到軟體實現，已定義的 fcvt 硬體指令無人呼叫。補丁讓該分支同時選中兩個方向，並加入 #error，任何定義了 COMPUTE 宏卻未選中對應實現的平台分支會直接編譯失敗。fp16→fp32 方向按 PR 30343 仍刻意走查表，因此保留 !defined(F16C) 例外；
llama.cpp releasesAI 評分45
llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化
llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。
llama.cpp releasesAI 評分38
llama.cpp 合併 SYCL FP16/FP32 反量化開關
llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。
llama.cpp releasesAI 評分47
llama.cpp CUDA 後端為 XIELU 啟用函式補上 BF16 支援
llama.cpp 的 CUDA 後端為 XIELU 啟用函式補上 BF16 支援，此前這條路徑只支援 F32 與 F16。XIELU 的 CUDA kernel 模板本身已對元素型別泛型化，這次只是在 launcher 里加上 nv_bfloat16 分支，並移除 ggml-cuda.cu 中拒絕 BF16+XIELU 的臨時 gate。
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp releasesAI 評分42
llama.cpp 回退 x86 上 FP16→FP32 的 F16C 最佳化，修復量化核心效能回退
llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。
Hacker News front page● 精選AI 評分81
GPU-unlock 1.0.0 解鎖 RTX 30 系部分顯示卡 FP/BF16 速率
GPU-unlock 1.0.0 發布，這個 Linux 核心模組能在 NVIDIA 驅動繫結前解鎖 GA102/GA103/GA104/GA106（RTX 30 系部分顯示卡）的 FP/BF16 指令發射速率，使其達到專業卡水平。3090 Ti 實測 BF16 GEMM 從 87.50 升至 157.41 TFLOPS，FP16 從 87.46 升至 118.39，TF32 從 42.58 升至 82.61；
llama.cpp releasesAI 評分39
llama.cpp 修復 RDNA3/RDNA4 上 HIP bf16 WMMA 編譯失敗
llama.cpp 修復了 HIP 後端在 AMD RDNA3（gfx1150/1151）與 RDNA4（gfx1200/1201）上 bf16 WMMA 的編譯失敗。原因是 __builtin_amdgcn_wmma_f32_16x16x16_bf16_w32 等內建要求 A/B 運算元為 short 向量而非 __bf16，原先按 __bf16 宣告分片會直接報錯。
llama.cpp releases● 精選AI 評分62
llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。
llama.cpp releasesAI 評分43
llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題
llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；
llama.cpp releasesAI 評分42
llama.cpp 在 CUDA 小批次下用 MMVF 最佳化 f16/bf16 矩陣乘法
llama.cpp 合併 PR #29633，在 CUDA 後端針對小批次場景的 thin f16/bf16 mul_mat 改用 MMVF 指令，並調整了核心選擇邏輯。該改動由 NVIDIA 工程師提交，影響 Ubuntu 與 Windows 的 CUDA 12/13 建置，面向在 NVIDIA GPU 上執行本地推理的使用者。
llama.cpp releasesAI 評分45
llama.cpp 建置 b11786：CPU 上 f32 gelu_quick 不再依賴 fp16 查表
llama.cpp 發布 b11786 建置，ggml-cpu 後端的 f32 gelu_quick 與 geglu_quick 改為不依賴 fp16 查表直接計算，同時保留 GGML_GELU_QUICK_FP16 表路徑，並新增 VXE 的 gelu_quick 路徑。該版本還為 f32 CPU 核心補充 test-gelu-quick 測試，並從其中移除 inf/nan 輸入。
llama.cpp releasesAI 評分45
llama.cpp b11573：Vulkan 後端用打包 FMA 替代點積運算元做 f16 累加
llama.cpp 發布 b11573 建置，Vulkan 後端改用打包 FMA 做 f16 累加，不再使用獨立的點積運算元。新的 dot_product 實現每次 f16 FMA 打包兩行，並更名為 dot_product_v2。該版本照例提供各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、SYCL、OpenVINO、Vulkan，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU；
機器之心● 精選AI 評分76
阿里千問 TRACE 讓 FP4 強化學習 Rollout 最高提速 5.4 倍
阿里千問與俄亥俄州立大學提出 TRACE，用 Rollout 側真實 FP4 量化結果指導訓練側舍入方向，在四個 Qwen MoE 模型上把聯合 FP4 權重啟用與 FP4 KV Cache 的 RL 效能拉回 BF16 水平。Qwen3.5-35B-A3B 平均分 75.3，高於 BF16 Rollout 的 74.9，遠超普通 QAT 的 59.6 和 QUADS 的 68.8；128K 輸出長度下解碼吞吐最高提升 5.4 倍，端到端 RL step 僅增約 7.4% 開銷。
llama.cpp releasesAI 評分42
llama.cpp Vulkan 為 AMD 最佳化 f16/bf16 KV 複製
llama.cpp 建置 b11647 的 Vulkan 後端為 AMD 顯示卡最佳化了 f16/bf16 KV cache 的 strided 複製：先把 KV 一次性拷到 scratch，使跨記憶體通道的讀取分散，而不是集中在少數通道上。改動刪掉了專用的反量化 shader，改為複用已有的通用 copy pipeline——f16 分支只需要 strided copy，不需要 dequant；複製按源記憶體順序描述，讓跨步訪問落在順序寫入端。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
r/LocalLLaMA top of the dayAI 評分38
LocalLLaMA 討論：大模型用 IQ1_S 量化到底行不行
r/LocalLLaMA 上一則帖子以「FP8/BF16 使用者看到有人跑 IQ1_S」為題引發討論。多位使用者認為量化影響取決於用途：創意寫作、閒聊可容忍 IQ1/IQ2，但編碼、複雜推理和結構化 JSON 提取會明顯崩壞。有人實測 Qwen 3.8 27b 後稱 mxfp4/nvfp4 品質接近 Q6，GSQ-RCO 在 IQ3_S、IQ3_XXS 仍可用；也有人認為 Q4_K_M 或 Q5_K_M 是多數模型的甜點區。
llama.cpp releasesAI 評分42
llama.cpp b11722 為 Hexagon NPU 加入多流 flash attention
llama.cpp 發布 b11722，Hexagon 後端新增多流 flash attention（multistream FA）支援，驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。
llama.cpp releasesAI 評分50
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp releasesAI 評分45
llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
Hacker News front pageAI 評分69
Faros 研究：高 AI 採用團隊 bug 增 54%、PR 評審耗時漲約 5 倍
Faros 2026 年研究分析 22,000 名開發者、4,000 個團隊兩年遙測資料後發現，AI 採用度高的組織每位開發者 bug 增加 54%，PR 評審中位耗時約漲 5 倍，每 PR 事故數超 3 倍；其 Q3 報告稱部分效應有所緩解，但驗證與運維成本仍在累積。
llama.cpp releasesAI 評分55
llama.cpp 新增 Flint 模型支援，多平台建置同步更新
llama.cpp 建置 b11803 合併了對新模型 Flint（FlintForCausalLM）的支援，該提交由 Codex 協助完成，合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
TechCrunch AIAI 評分56
Tony Fadell：首波 AI 硬體失敗，因未解決真實需求
Fadell 在 MIT Future Fest 上表示，Rabbit R1、Humane Ai Pin 和 Limitless 掛墜這批第一代 AI 硬體失敗，是因為沒有解決任何真實需求，只是對極客有趣的技術。他指出全球不到 0.01% 的人用過人類助理，多數消費者並不知道助理是什麼，建立信任需要數年。
Hacker News front page● 精選AI 評分87
FLUX 3 Image Klein 開源發布，8GB 視訊記憶體可本地跑
Black Forest Labs 發布 5.6B 引數的開源權重模型 FLUX 3 Image Klein，支援文生圖、影像編輯和最多 10 張參考圖的多參考生成，並保留原生 4K 與邊界框控制。INT8 版本可在 8GB 視訊記憶體的 NVIDIA RTX 顯示卡上通過 ComfyUI 或 Diffusers 執行，蒸餾模型在 RTX 5090 上約 4 秒生成一張 1MP 影像，RTX 4070 上不到 9 秒。
NVIDIA blogAI 評分51
Firebird 簽約哈薩克，部署 4.5 萬塊 Grace Blackwell
Firebird 與哈薩克政府簽署投資協議，並已取得美國出口許可，將在當地部署 4.5 萬塊 NVIDIA Grace Blackwell GPU。首期與 Kazakhtelecom 在 Data Center Valley 共建，目標 2027 年第三季度投入商用，二期規劃使該國 AI 基礎設施總容量達到約 500 兆瓦。
llama.cpp releasesAI 評分27
llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置
llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…
X @OpenAIAI 評分43
OpenAI 稱新模型強化 COBOL、Fortran 等老舊語言的遷移能力
OpenAI 表示，最新一輪模型能力提升集中在 COBOL、Fortran、Visual Basic 等低資源程式語言，增強了這類軟體的建置與遷移能力。這些語言支撐著銀行、政府和企業長期依賴的系統；OpenAI 的目標是理解數十年的業務邏輯，並在保留可用部分的前提下幫助開發者完成現代化改造。OpenAI 稱會圍繞開發者與企業客戶提出的實際難題推進，並公開徵集下一批需要支援的語言與工作流。
Hugging Face blog● 精選AI 評分83
PyTorch 2.15 為 MPS 加入 FP8，MoE 解碼提速 5–6.5 倍
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援，並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s，LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s，詞表 softmax 約快 8 倍。