llama.cpp 為 OpenCL 後端加入 Adreno 深度卷積
llama.cpp 建置 b11827 在 OpenCL 後端新增 depthwise conv2d(深度卷積)支援,並針對 Adreno GPU 做了適配,可讓部分卷積類模型在驍龍 Adreno GPU 上以 OpenCL 加速執行。該改動還提到改用本地 program、引數改用有符號型別,貢獻者來自高通。
依意思最接近的 30 筆
llama.cpp 建置 b11827 在 OpenCL 後端新增 depthwise conv2d(深度卷積)支援,並針對 Adreno GPU 做了適配,可讓部分卷積類模型在驍龍 Adreno GPU 上以 OpenCL 加速執行。該改動還提到改用本地 program、引數改用有符號型別,貢獻者來自高通。
DeepSeek 發布開源權重模型 V4.1 Flash 1017 (Max),採用 MIT 許可,權重已上傳 Hugging Face,支援文字與影像輸入。在 Artificial Analysis 智慧指數上它得分 45,遠高於同類開源模型中位數 19;總引數 552B、每 token 啟用 16B,上下文視窗 1M token,輸出速度約 230 token/秒。
DeepSeek 上線 V4.1 Flash 的 10 月 17 日快照版 V4.1 Flash 1017,這是首個基於自研 Causal Encoder-Decoder(CED)架構的稀疏 MoE 模型:552B 總引數,輸入啟用 8B、輸出啟用 16B,影像理解原生內建。
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer,目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心,Attention DP 與 MoE EP+EPLB 並行,DSpark 投機解碼(草稿長度預設 5),以及預設開啟的非同步排程、批不變推理、確定性取樣,並支援正則、JSON schema、EBNF 結構化輸出。
DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;
llama.cpp 新建置 b11623 中,CUDA 後端的 conv2d 在 AMD 顯示卡上改用 SIMT 隱式 GEMM 實現,不再依賴 WMMA。提交說明提到,短歸約場景會跳過 SIMT conv2d,相關注釋也已更新。該版本照例放出各平台預編譯包,含 Ubuntu 與 Windows x64 的 ROCm 10.0、CUDA 12/13,以及 Vulkan、SYCL、OpenVINO、Snapdragon 等;
DeepSeek 於 10 月 17 日把 V4.1 Flash 升級為 V4.1-Flash-1017,網頁端、App 與 API 同步切換,API 呼叫方式不變。新模型引數量 763B,高於 V4.1F 的 552B;Terminal-Bench 4.0 從 31.2 升至 42.3,max 檔每任務平均費用從約 3.3 元降至約 1.3 元,API 單價保持不變,權重以 MIT 許可在 Hugging Face 與 ModelScope 開放下載。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,該模型通過帶自我反饋的強化學習提升端到端專案開發能力,覆蓋從遊戲製作到 3D 建模的完整流程。官方以演示形式展示實際效果,未在帖文中給出引數規模、上下文長度或 API 價格等資訊。
DeepSeek 以開源方式發布 V4.1-Flash-1017,模型權重已同步上線 Hugging Face 與 ModelScope。官方給出的獲取渠道只有這兩個平台,公告中未提及引數量、上下文長度與許可條款等細節。
DeepSeek 上線 V4.1 Flash 1017,552B 總引數 / 16B 啟用 MoE,支援 1M token 上下文,MIT 許可,API 價格維持每百萬輸入 0.30 美元、輸出 1.20 美元,閒時半價。Artificial Analysis 智慧指數升至 45(+6),在開源權重模型中與 GLM-5.3 並列第二,僅次於 MiMo-V2.6-Pro;Code Arena WebDev 與 Agent Arena 均為開源第一。
DeepSeek 發布 DeepSeek-V4.1-Flash-1017,是 DeepSeek-V4.1-Flash 的小版本更新,權重以 MIT 許可開放。官方稱其在推理、程式設計、Agent 與視覺基準上均有提升,同時縮短任務執行時間與輸出長度:Terminal-Bench 4.0 從 31.2 升至 42.3,Apex Bench v1.1 從 64.6 升至 72.1,HLE(無工具)從 36.8 升至 42.6。
DeepSeek 上線 DeepSeek-V4.1-Flash-1017,官方稱其基準測試更強、任務完成更快、輸出更短,在效能與成本上實現帕累托改進,已在官網、App 和 API 提供,並在 Hugging Face 與 ModelScope 開源。該模型針對 DeepSeek Harness、騰訊 CodeBuddy、WorkBuddy 等最佳化,需升級到 DeepSeek Harness v0.2.1-rc.1 及以上獲得最佳體驗。
llama.cpp 建置 b11877 給 Vulkan 後端的 conv3d 增加了更大的 tile 尺寸,只在 coopmat2 路徑啟用。原因是這條路徑不需要用共享記憶體存放輸出,否則會超過 64KB 上限。該大 tile 只對較新版本的驅動生效,同時補充了若干代表性後端測試;發布說明稱這套改動來自 codex 檢視 sd.cpp 的 Wan VAE 後給出的方案。
哈工大(深圳)與新加坡國立大學團隊提出免訓練 2-bit KV Cache 量化框架 QuantWM,面向影片世界模型,實際壓縮最高 6.20 倍。研究指出,現有量化方法在 VBench 等指標上接近 BF16,畫面卻仍有閃爍、模糊和失真,原因是 Key 的量化誤差改變了注意力分數排序,使模型選中不同的歷史幀或影像塊。
DeepSeek 已將自研推理框架 DeepInfer 完整開源。該框架在其生產環境中支撐 DeepSeek-V4.1-Flash 的大規模推理服務,主打高吞吐與低延遲。官方表示,公開這套生產環境所用的推理元件是為了幫社群降低算力成本、減少能耗,讓 AI 更可負擔。推文未給出具體效能數字,硬體支援與部署方式需檢視開源倉庫。
DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,已在官網、App 和 API 上線。官方稱其基準測試表現更強、任務完成更快、輸出更短,在效能與成本上屬於帕累托改進。該模型針對 DeepSeek Harness、騰訊 CodeBuddy、WorkBuddy 等做了最佳化,DeepSeek Harness 需升級到 v0.2.1-rc.1 或更高版本以獲得最佳體驗。
DeepSeek-V4.1-Flash-1017 已在 Ollama 上線,可通過 Ollama Cloud 呼叫,託管位於美國且承諾零資料留存。該模型在 agentic 任務上表現較強,同時單任務成本更低。
DeepSeek 以 Apache 2.0 開源內部推理框架 DeepInfer 及配套編解碼元件 deepseek-recipe,當前支援 DeepSeek-V4.1-Flash。官方披露單叢集每天吞吐 155 萬億 token,按 API 谷價摺合每卡每小時 38 美元收入,有人以每張 B300 每小時 7 美元租金估算毛利率約 82%。
DeepSeek 發布新模型 DeepSeek-V4.1-Flash-1017,網頁端、App 與 API 已同步切換。相比上一版 V4.1 Flash,程式碼與 Agent 任務等基準測試全面上漲,同時任務執行時間和輸出長度下降,官方稱其為效能—費用的帕累托改進;完整使用需把 DeepSeek Harness 升級至 0.2.1-rc.1 及以上,新使用者首次登入 Harness 可領 6 元贈金,7 天內有效、限量發放。
llama.cpp 發布 b11603,重點最佳化 Vulkan 後端的 pool_2d:當池化視窗大於一個 subgroup 時,改用一個完整 subgroup 計算每個輸出,以提升大視窗下的池化效能。
DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
llama.cpp 的 SYCL 後端修復了 CONV_2D 在非連續輸入下靜默算錯的問題,並新增對 CWHN 通道序佈局的支援。此前 supports_op 聲稱支援任意佈局,但卷積 kernel 按連續的 [W, H, C, N] 索引,CWHN 等排列的輸入會被用錯誤偏移讀取;現在改為與 CUDA 後端約定一致,對輸入和卷積核的連續性做校驗。
DeepSeek 計劃領投具身智慧初創公司 Winverse AI 的數千萬美元種子輪融資,投後估值約 4 億美元(約 28 億元人民幣),美團旗下龍珠資本也作出投資承諾。Winverse AI 今年剛成立,創始人胡瀚是 Swin Transformer 論文共同作者、原騰訊混元傑出科學家,曾負責視覺語言與具身智慧基礎模型團隊。這是 DeepSeek 兩個月內第二次投向機器人領域,此前 8 月以約 1.41 億元入股宇樹科技,並簽署具身智慧與大模型聯合研發的戰略合作備忘錄。
llama.cpp 建置 b11906 把 ggml-cpu 的 concat 重寫為單個按行執行的 kernel,所有型別共用一套實現,量化型別也包含在內:稠密源行只需一次 memcpy,轉置源則按元素逐個複製,元素大小在編譯期已知。行不再只沿 i2 維度切分(該維度常為 1),而是按 32 行一組分塊分給多執行緒;遇到轉置源時在外層迴圈遍歷元素,讓同一 tile 的各行讀取相鄰地址。
llama.cpp 發布建置 b11527(PR #30219),WebGPU 後端移除 1D workgroup 派發,所有原本使用 1D 派發的運算元(如 rms_norm)統一改為 2D workgroup dispatch。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
llama.cpp 發布 b11729,為 Qwen3 加入雙向注意力(bidirectional attention)與 dense_2 輸出投影支援,模型轉換指令碼 conversion/base.py 會讀取 use_bidirectional_attention 欄位。
DeepSeek 將其生產環境使用的 token 編碼與解碼元件 deepseek-recipe 開源。該元件的處理邏輯與官方 DeepSeek API 對齊,目的是讓社群自行部署的服務復現相同的 API 行為。這條訊息是該發布執行緒中的第 3 條,官方只給出倉庫連結,未說明許可證與適用範圍。
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重,輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3,LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s;解碼受 DRAM 頻寬限制,實測跑到峰值的 82%-94%。
Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。