AISpot

搜尋

依意思最接近的 29 筆

llama.cpp releasesAI 評分43

llama.cpp 修復 gguf-split 對截斷 GGUF 靜默輸出損壞張量

llama.cpp 建置 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查,輸入 GGUF 檔案被截斷時直接拒絕,不再靜默產出損壞的張量資料。修復點位於 gguf-split.cpp 的 copy_file_to_file(split_strategy)與 export-lora.cpp 的 read_tensor_data,並附帶回歸測試,驗證截斷輸入被拒絕、合法張量資料仍被保留。

Ollama releasesAI 評分42

Ollama v0.40.6 預發布:GGUF 新增 q2_0 量化型別

Ollama 發布 v0.40.6 預發布版,GGUF 格式新增 q2_0 張量與檔案型別,為更低位元的模型量化提供支援。該版本還修復了 Windows 上 runner 程序殘留(孤兒程序)的問題,並在 Ollama 雲端上線 clef,同時把 --ask 模式的提問鍵改為識別符號。更新由 jmorganca、dhiltgen、jberg5 提交,共 1 個 commit。

llama.cpp releasesAI 評分42

llama.cpp 改為從 GGUF 後設資料讀取 LFM2-VL 切圖引數

llama.cpp 新建置 b11767 讓 LFM2-VL 的影像切分引數改由 GGUF 後設資料決定,不再寫死在程式碼裡。轉換 LFM2-VL mmproj 時會把 processor_config.json 中的 min_tiles、max_tiles、tile_size 和 max_pixels_tolerance 寫入模型,clip.cpp 讀取這些值,缺失時回退到原有常量。

r/LocalLLaMA top of the dayAI 評分61

gufo 分支在 Strix Halo 上跑 Qwen3.6 35B A3B,prefill 達 3095tok/s

開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense,在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode,目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援,面向優先速度而非智慧的負載;作者自行量化模型並以 Apache 2.0 發布,稱 unsloth 的 GGUF 也可用但效能較低。

llama.cpp releasesAI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;

llama.cpp releasesAI 評分45

llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

llama.cpp releasesAI 評分43

llama.cpp 修復 ggml conv_1d 批次輸入轉置錯誤

llama.cpp 修復了 ggml conv_1d 在批次輸入下輸出通道與批次維度錯位的問題。conv_1d 背後的 GEMM 把 batch 折進行,結果在記憶體中是 [OL, N, OC],reshape 卻宣告為 [OL, OC, N],形狀正確但內容被轉置,因此不報錯、通道與批次交錯;N==1 時兩種讀法等價,倉庫裡三個 vocoder 都沒觸發。

llama.cpp releasesAI 評分46

llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤

ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。

Ollama releasesAI 評分26

v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫

v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄,消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄;MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包,並在發布打包流程中校驗這些依賴。

llama.cpp releasesAI 評分45

b11536: ui: Models Manager Follow-up Improvements (#30228)

llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度(context_length),資料取自 GGUF 後設資料,無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64,檔案缺失或無效時返回 0,router 列表因此可離線攜帶該欄位。

llama.cpp releases● 精選AI 評分70

llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能

ggml-openvino 後端更新到 2026.4.1,重點最佳化 Qwen3.5 MoE 推理效能,並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載(cache_only)等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B,pp512 從 66.16 t/s 提升到 1608.73 t/s,tg128 從 25.94 提升到 26.46 t/s,困惑度基本不變。

llama.cpp releasesAI 評分45

llama.cpp 修復 ggml-cpu 多執行緒 SET_ROWS 越界寫

llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題:該運算元按 n_tasks=1 規劃,但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行,當計算圖中還有別的多執行緒運算元時,編號大於 0 的執行緒就會寫到工作緩衝區之外;修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。

機器之心● 精選AI 評分83

KTransformers-FineTune 讓 CPU 直接算 MoE 專家,微調吞吐最高提升 21.2 倍

清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune(KT-FT),讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力,LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5~21.2 倍。該方案已作為執行後端接入 LlamaFactory,CPU 側用 AVX-512/AMX 指令集計算專家,支援微調與推理在同等硬體下一鍵執行。

Hacker News front pageAI 評分68

AI 數天自動反編譯遊戲,Flash 版以撒獲 1440p 原生移植

AI 現在能在數天內自動反編譯遊戲,把編譯後的成品還原成原始碼再重新編譯到其他平台,產出支援高幀率、動態解析度與模組的原生版本。作者舉例 IsaacRecomp 將 2011 年 Flash 版《以撒的結合》自動移植為 C++,從鎖定 30FPS、低解析度變為原生 1440p、插值到 165FPS,同類專案已有數百個,涵蓋《科林麥克雷拉力賽 2.0》《最終幻想戰略版 Advance》《銀河戰士 Prime》,開發中的 AnyPS5 號稱可把任意 PS5 遊戲移植到 PC。

llama.cpp releasesAI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

llama.cpp releasesAI 評分50

llama.cpp 新增啟用統計與 GGUF imatrix 支援

llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。

Hacker News front page● 精選AI 評分85

Google 發布 EmbeddingGemma 2,740M 引數開源端側多模態嵌入模型

Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。

llama.cpp releases● 精選AI 評分78

llama.cpp UI 新增 Discover,可瀏覽下載 HuggingFace GGUF 並斷點續傳

llama.cpp 的圖形介面新增 Discover Models 檢視,可直接在應用內瀏覽並下載 HuggingFace 上的 GGUF 模型,由 Enable Discover Models 開關控制。下載支援暫停與續傳:暫停後保留已下載的分片檔案,重啟或重新開啟後仍能接著磁碟上的進度繼續。下載項按倉庫聚類,主權重會順帶拉取匹配的 draft sidecar(DFlash 優先於 MTP)以啟用投機解碼,決策模型等無法執行的模型已從目錄與搜尋中過濾。

Google Developers blog● 精選AI 評分80

Gemini 4 Argon 通宵 11 小時最佳化 20 萬行 Python 庫,會話開銷降約 40%

Google 讓 Gemini 4 Argon 在 Antigravity 的 /goal 模式下無人值守跑了 11 小時,對約 20.5 萬行、近 800 個原始檔的 google/adk-python 倉庫做跨檔案效能最佳化,最終把長會話的記憶體 session 準備時間縮短約 40%,冷啟動包匯入加快 21%。該 PR 跨 32 個檔案提出 6 項最佳化,經人工評審後僅 2 項合入,4 項被拒。

Google Developers blog● 精選AI 評分68

Google 發布 ML Drift:端側通用 GPU 推理框架

Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。

llama.cpp releasesAI 評分36

llama.cpp 發布 b11459:ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459,唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL;