AISpot

搜尋

依意思最接近的 27 筆

llama.cpp releases● 精選AI 評分63

llama.cpp 新增 SenseNova U1 視覺理解支援

llama.cpp 發布 b11801 建置,新增 SenseNova U1 稠密理解分支支援(含 U1.5-8B-MoT)與視覺編碼器推理。轉換指令碼支援 HF 到 GGUF(NEOChatModel),排除 MoT 生成張量並拼接時間與空間 Q/K 歸一化權重,註冊 sensenova_u1 GGUF 架構與自訂空間 RoPE 後設資料,實現 4 軸 RoPE 下的時/空 Q/K 歸一化。

llama.cpp releasesAI 評分45

llama.cpp Hexagon 後端為二進位制運算元擴充套件標量 DMA 廣播支援

llama.cpp 發布 b11580 建置,Hexagon 後端為二進位制運算元擴充套件了標量 DMA 廣播支援,並刪除全部非 DMA 路徑,同時新增對非連續 stride 的處理。REPEAT 與 COMPLEX 核心這次也改用 DMA,hex-add-id 為 src2 索引加法補上 DMA;hex-geglu-erf 新增僅 F32 的門控,該運算元不支援 F16。

llama.cpp releasesAI 評分45

llama.cpp b11701 新增 Beam (Reflection) 模型支援

llama.cpp 建置 b11701 加入 Beam (Reflection) 模型支援(PR #30670),官方站點為 llama.app。該版本同步釋出 macOS(Apple Silicon/Intel)、iOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU…

llama.cpp releasesAI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;

機器之心● 精選AI 評分80

UCLA 與 Adobe 提出 Tev:27B 模型長程任務追平 GPT-6 Astra

Adobe Research 與 UCLA 提出 Tev 訓練方案:27B 模型在 Agents' Last Exam 計算與數學子集上 Pass@5 達 0.28,追平 GPT-6 Astra 與 Claude Opus 5。做法是先建置含隱藏標準答案的潛在世界再用它渲染出任務環境,據此合成覆蓋 7 個領域、1,170 個環境的 Tev-Gym,單次 rollout 中位耗時 12.4 分鐘、Pass@1 僅 29%。

llama.cpp releases● 精選AI 評分60

llama.cpp 為 Metal 加入少行 MMA 矩陣乘核心

llama.cpp 合併 PR #29869,為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心,用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算,耗時隨 src1 行數增長,導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。

llama.cpp releasesAI 評分55

llama.cpp 新增 Flint 模型支援,多平台建置同步更新

llama.cpp 建置 b11803 合併了對新模型 Flint(FlintForCausalLM)的支援,該提交由 Codex 協助完成,合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

機器之心AI 評分50

OpenAI 預告 Astra 6.1,主打刪減屎山程式碼

OpenAI 產品負責人 Tibo Sottiaux 發帖預告未來模型會更擅長刪除和簡化程式碼,並在評論中確認 Astra 6.1「coming soon」。負責 coding post-training 的研究員 Rajan Agarwal 轉發該帖,並公開徵集使用者遇到的 sloppy code 與程式碼品質問題。《華爾街日報》此前報導,Astra 6.1 原計劃 10 月發布,因內部安全測試中在權限邊界上表現不穩而被臨時叫停。

llama.cpp releasesAI 評分35

llama.cpp 發布 b11468,cpp-httplib 升級至 0.60.0

llama.cpp 發布新建置 b11468,主要變更是將 cpp-httplib 升級到 0.60.0(#30081)。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物,後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU 與…

llama.cpp releasesAI 評分41

llama.cpp 修復 Metal 後端每 token 9 專家 MoE 核心缺失

llama.cpp 建置 b11755 修復了 Metal 後端缺少每 token 9 專家 MoE 核心變體的問題(#30610、#30699),涉及 Apple Silicon 上的 MoE 推理路徑。該版本照例發布全平台預編譯包,覆蓋 macOS/iOS、Linux(CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Android、Windows 及 openEuler 昇騰等後端。

llama.cpp releases● 精選AI 評分62

llama.cpp 新增 DeepSeek-V4.1-Flash 支援

llama.cpp 建置 b11870 加入 DeepSeek-V4.1-Flash(deepseek41)模型支援,同時移除 MXFP8、把 Engram 錶轉為 BF16。同批改動把壓縮 KV 的讀取層改為在快取中只算一次,Engram 行改為圖內 gather(與 qwen4exp 一致)、去掉主機側 gather,top-k 行在稀疏 gather 前先排序,並刪除 LLAMA_DSV41_KV_MIRROR 開關;

量子位● 精選AI 評分82

螞蟻百靈開源 Ling-3.1-flash,主打真實工作流任務

螞蟻百靈開源 Ling-3.1-flash,主打把真實工作流裡的活幹完,而非刷榜。模型總引數約 560B、每 Token 啟用約 25B,上下文視窗達 1M;混合精度量化後權重佔用從約 534GB 降至 292GB,部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis,其智慧指數 41,輸出速度約每秒 210 Token,混合呼叫價格約每百萬 Token 0.19 美元,辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。

機器之心● 精選AI 評分76

螞蟻百靈開源 Ling-3.1-flash,主打長程複雜任務

螞蟻百靈於 10 月 15 日正式開源 Ling-3.1-flash,總引數約 560B、每 Token 僅啟用約 25B,上下文最高支援 1M Token,重點瞄準複雜任務與長程執行。據 Artificial Analysis 資料,其智慧指數 41,輸出約 210 Token/s,混合呼叫價格約每百萬 Token 0.19 美元;路由專家採用 MXFP4 量化後,權重從約 534GB 壓縮至 292GB,部署從 8 卡降至 4 卡。

llama.cpp releasesAI 評分53

llama.cpp b11826 新增 MiniCPM-OCR 1.0 支援

llama.cpp 建置 b11826 在 mtmd 多模態模組中加入 MiniCPM-OCR 1.0 支援,本地推理可直接用上這一 OCR 模型。同批預編譯包覆蓋 macOS(Apple Silicon 與 Intel)、iOS、Android、Windows、Linux 及 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 後端。