llama.cpp b11724 修復 CUDA flash_attn_ext_vec 競態
llama.cpp 發布 b11724 建置,主要修復 CUDA 後端 flash_attn_ext_vec 中共享記憶體的寫後讀(WAR)冒險與 KQ 寫後讀競態,避免注意力計算出錯。補丁由社群貢獻者提交,並附 ChatGPT 協助說明,同時整理了 KQ 同步相關注釋。
依意思最接近的 30 筆
llama.cpp 發布 b11724 建置,主要修復 CUDA 後端 flash_attn_ext_vec 中共享記憶體的寫後讀(WAR)冒險與 KQ 寫後讀競態,避免注意力計算出錯。補丁由社群貢獻者提交,並附 ChatGPT 協助說明,同時整理了 KQ 同步相關注釋。
llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;
llama.cpp 發布 b11723 建置,Hexagon NPU 後端的 FLASH_ATTN_EXT 得到改進,可支援更長上下文與滑動視窗注意力(SWA)模型(#30731)。同一批改動還包括掩碼塊跳過以減少 DMA 取數、微調 hmx→hvx 切換閾值以提升 gemma-4 表現,以及讓 hmx 門控計入 mdev.count。
llama.cpp 發布 b11722,Hexagon 後端新增多流 flash attention(multistream FA)支援,驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。
llama.cpp 發布 b11402 版本,CUDA 後端改為優先採用整塊(whole-tile)FlashAttention 排程,以提升兩階段核心效率。
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256,修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 合併 PR #29570,在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置,並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布,覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分,讓每個核心只讀自己負責的那部分 KV cache,不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制,預設開啟;當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分(如 4 核上只有 2 個 KV head 的 Gemma-4)。
llama.cpp 發布 b11466,唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查(#28205)。該版本同步更新各平台預編譯包,涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;
llama.cpp 發布建置 b11414,本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題(PR #29591),提交標註 Assisted-by: Claude。
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體,主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
Bluesky 在 TechCrunch Disrupt 2026 上宣布擴充套件其 AI 實驗平台 Attie,讓普通使用者無需程式設計就能建置網站、測驗、遊戲、投票等互動體驗。這些作品執行在支撐 Bluesky 的 AT Protocol 上,使用者可自帶 AI 模型或使用開放權重模型,Attie 還會根據其公開 Bluesky 資料推薦可做的專案,並借 Bluesky 的分發觸達受眾。Bluesky 目前有 4700 萬註冊使用者但互動量下滑;
llama.cpp 發布建置 b11719,本次唯一一項程式碼改動來自 PR #30572:ggml-cuda 的 fattn(flash attention)在 k_VKQ_max 等於 k_VKQ_max - nbatch_fa 時不再做越界檢查,只涉及 CUDA 後端的 flash attention 計算路徑。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max),採用 MIT 許可,權重已上傳 Hugging Face,支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45,遠高於同類開源模型中位數 19;總引數 552B、每 token 啟用 16B,上下文視窗 1M token,輸出速度約 230 token/秒。
llama.cpp 發布 b11446,Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題,對應 PR #29340。
llama.cpp 發布建置 b11711,唯一程式碼改動是修復 CUDA flash attention 向量分發中觸發的 -Wtautological-compare 編譯警告(#30519),提交者為 Adrien Gallouët。
OpenAI 開發者帳號 @OpenAIDevs 發布了一條連結,指向 ChatGPT 文件站 learn.chatgpt.com 下的 annotations-extensibility 頁面,主題是標註(annotations)的可擴充套件性。該帖只有連結、沒有附加說明文字,資料中沒有給出文件具體內容、適用模型、開放時間或價格額度等資訊。
哈爾濱工業大學(深圳)團隊的 STILL 被 NeurIPS 2026 接收,這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架:先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax,其餘交給線性注意力,並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化,16K 上下文下視訊記憶體削減 80%、預填充加速 83%;
llama.cpp 合併 PR #29639,為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention,並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描,解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代,128k 單元格下開銷超過它服務的稀疏注意力本身。
DeepSeek-V4.1-Flash-1017 已在 Ollama 上線,可通過 Ollama Cloud 呼叫,託管位於美國且承諾零資料留存。該模型在 agentic 任務上表現較強,同時單任務成本更低。
Percepta 公布新架構 Spotlight,用可讀寫記憶取代注意力機制,宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元,稀疏度可任意調節,不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離,模型權重不隨記憶增長而改變,可自行決定載入與覆寫,從而無需重訓練即可獲得新能力。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,權重以 MIT 許可開放。官方稱其在推理、程式設計、Agent 與視覺基準上均有提升,同時縮短任務執行時間與輸出長度:Terminal-Bench 4.0 從 31.2 升至 42.3,Apex Bench v1.1 從 64.6 升至 72.1,HLE(無工具)從 36.8 升至 42.6。
螞蟻百靈於 10 月 15 日正式開源 Ling-3.1-flash,總引數約 560B、每 Token 僅啟用約 25B,上下文最高支援 1M Token,重點瞄準複雜任務與長程執行。據 Artificial Analysis 資料,其智慧指數 41,輸出約 210 Token/s,混合呼叫價格約每百萬 Token 0.19 美元;路由專家採用 MXFP4 量化後,權重從約 534GB 壓縮至 292GB,部署從 8 卡降至 4 卡。
llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。
螞蟻百靈開源 Ling-3.1-flash,主打把真實工作流裡的活幹完,而非刷榜。模型總引數約 560B、每 Token 啟用約 25B,上下文視窗達 1M;混合精度量化後權重佔用從約 534GB 降至 292GB,部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis,其智慧指數 41,輸出速度約每秒 210 Token,混合呼叫價格約每百萬 Token 0.19 美元,辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。
Apertus 1.5 發布,在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式,上下文視窗擴至 262,144 token,為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face,技術報告同步公開。模型由第一代繼續預訓練而來,8B 增加 4 萬億 token、70B 增加 2 萬億,總量分別達 19T 與 17T。
Bluesky 的 Attie AI 工具從生成自訂 feed 擴充套件到可製作遊戲、投票、儀表盤等小型社交應用,並能以獨立網站的形式分享給他人。使用者在 Attie 輸入提示詞即可生成,作者實測一個寶可夢紅/藍投票幾分鐘就做出來了。CEO Toni Schneider 在 TechCrunch Disrupt 採訪中把它稱為面向社群的 vibe coding。
llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。