AISpot

搜尋

依意思最接近的 29 筆

llama.cpp releasesAI 評分43

llama.cpp 修復 gguf-split 對截斷 GGUF 靜默輸出損壞張量

llama.cpp 建置 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查,輸入 GGUF 檔案被截斷時直接拒絕,不再靜默產出損壞的張量資料。修復點位於 gguf-split.cpp 的 copy_file_to_file(split_strategy)與 export-lora.cpp 的 read_tensor_data,並附帶回歸測試,驗證截斷輸入被拒絕、合法張量資料仍被保留。

r/LocalLLaMA top of the dayAI 評分61

gufo 分支在 Strix Halo 上跑 Qwen3.6 35B A3B,prefill 達 3095tok/s

開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense,在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode,目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援,面向優先速度而非智慧的負載;作者自行量化模型並以 Apache 2.0 發布,稱 unsloth 的 GGUF 也可用但效能較低。

llama.cpp releasesAI 評分42

llama.cpp 改為從 GGUF 後設資料讀取 LFM2-VL 切圖引數

llama.cpp 新建置 b11767 讓 LFM2-VL 的影像切分引數改由 GGUF 後設資料決定,不再寫死在程式碼裡。轉換 LFM2-VL mmproj 時會把 processor_config.json 中的 min_tiles、max_tiles、tile_size 和 max_pixels_tolerance 寫入模型,clip.cpp 讀取這些值,缺失時回退到原有常量。

Ollama releasesAI 評分42

Ollama v0.40.6 預發布:GGUF 新增 q2_0 量化型別

Ollama 發布 v0.40.6 預發布版,GGUF 格式新增 q2_0 張量與檔案型別,為更低位元的模型量化提供支援。該版本還修復了 Windows 上 runner 程序殘留(孤兒程序)的問題,並在 Ollama 雲端上線 clef,同時把 --ask 模式的提問鍵改為識別符號。更新由 jmorganca、dhiltgen、jberg5 提交,共 1 個 commit。

llama.cpp releasesAI 評分45

llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸

llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;

Ollama releasesAI 評分26

v0.40.7-rc1 去重 GGML 與 MLX 的 CUDA 執行庫

v0.40.7-rc1 把 GGML 與 MLX 兩個後端共用的 CUDA 庫合併進同一個 CUDA payload 目錄,消除重複打包。程序內和子程序載入 MLX 時都會解析這個打包依賴目錄;MLX 私有庫與 JIT 標頭檔案仍保留在 MLX overlay 中。此外補齊 OpenBLAS 的完整 Fortran 執行時依賴閉包,並在發布打包流程中校驗這些依賴。

llama.cpp releasesAI 評分45

llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

llama.cpp releasesAI 評分45

b11536: ui: Models Manager Follow-up Improvements (#30228)

llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度(context_length),資料取自 GGUF 後設資料,無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64,檔案缺失或無效時返回 0,router 列表因此可離線攜帶該欄位。

TechCrunch AIAI 評分66

Replit 把預設模型從 Claude 換成 OpenAI

Replit 已將預設模型從 Anthropic 的 Claude 換成 OpenAI 的 ChatGPT,CEO Amjad Masad 在 TechCrunch Disrupt 上稱這是基於成本、合作與效能的決定,內部與公開基準顯示 Sol、Astra 在從零建置應用上表現更好。使用者仍可選用 Claude 等其他模型,Replit 稱自身保持模型無關;此前它是 Anthropic 前五大客戶之一,但有知情人士稱雙方合作仍在。

Apple Machine Learning Research● 精選AI 評分69

Minions:聚合閒置 Apple Silicon 的分散式虛擬 GPU 雲

一篇新論文提出 Minions:把多臺 macOS 裝置上閒置的 Apple Silicon GPU 聚合成分散式虛擬 GPU 雲,用來跑大規模機器學習推理。作者認為集中式 GPU 基礎設施成本高、彈性有限、資源緊張時等待時間長,而 Apple Silicon 裝置的 GPU 在日常使用中大多處於空閒狀態。論文稱該方案讓團隊能夠利用現有裝置承載推理負載,具體排程方式與效能資料未在摘要中給出。

llama.cpp releasesAI 評分42

llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題

llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。

llama.cpp releases● 精選AI 評分78

llama.cpp UI 新增 Discover,可瀏覽下載 HuggingFace GGUF 並斷點續傳

llama.cpp 的圖形介面新增 Discover Models 檢視,可直接在應用內瀏覽並下載 HuggingFace 上的 GGUF 模型,由 Enable Discover Models 開關控制。下載支援暫停與續傳:暫停後保留已下載的分片檔案,重啟或重新開啟後仍能接著磁碟上的進度繼續。下載項按倉庫聚類,主權重會順帶拉取匹配的 draft sidecar(DFlash 優先於 MTP)以啟用投機解碼,決策模型等無法執行的模型已從目錄與搜尋中過濾。

Hacker News front pageAI 評分65

Cloudflare 開放 Artifacts 公測並舉辦 Git 平台競賽

Cloudflare 宣布 Artifacts 版本化檔案系統進入開放公測,並舉辦競賽邀請開發者用 Workers 和 Artifacts 建置面向 agent 的下一代 Git 平台。Artifacts 支援程式化建立與 fork 倉庫、儲存程式碼和 agent 上下文,新增將倉庫部署到 Workers、通過繫結在 Worker 中管理倉庫、訂閱 push 等事件觸發 CI 或程式碼審查、選擇美國或歐盟資料轄區以及檢視倉庫指標等能力。

Google Developers blog● 精選AI 評分68

Google 發布 ML Drift:端側通用 GPU 推理框架

Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。

X @ggerganovAI 評分62

llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理

llama.cpp 現在可以通過 ggml RPC 後端,把推理任務分散到異構裝置上共同完成,即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明,這一能力目前仍是進階設定,但會隨時間逐步降低使用門檻,讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。

llama.cpp releasesAI 評分45

llama.cpp 修復 ggml-cpu 多執行緒 SET_ROWS 越界寫

llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題:該運算元按 n_tasks=1 規劃,但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行,當計算圖中還有別的多執行緒運算元時,編號大於 0 的執行緒就會寫到工作緩衝區之外;修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。

X @OpenAI● 精選AI 評分86

ChatGPT 的 GPT-6 Astra Pro 升級,支援多智慧體並行處理任務

OpenAI 為 ChatGPT 中的 GPT-6 Astra Pro 推送升級,回應速度更快,外掛與工具呼叫也有所改進,並新增多智慧體並行能力。多個 agent 可以分別處理同一任務的不同部分,使用者能跟蹤每個 agent 的進度,也可開啟已完成任務檢視其工作結果。該功能現面向 Pro 使用者在 Chat 標籤頁開放。

llama.cpp releasesAI 評分46

llama.cpp 修復 ggml CLAMP 非連續檢視定址錯誤

ggml 修復了 CLAMP 運算元在非連續檢視上的定址錯誤,涉及 CPU 與 CUDA 後端。CUDA 此前按 ggml_nelements 做平坦處理、忽略檢視 stride,CPU 則把第 j 行按 j*nb01 定址、忽略 nb02/nb03;現在兩者都改為遵循 dims 1..3 的 stride,且 CUDA 的 supports_op 要求行連續,與 Metal 一致。

llama.cpp releasesAI 評分50

llama.cpp 新增啟用統計與 GGUF imatrix 支援

llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。

llama.cpp releasesAI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本,為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援(PR #29897)。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

llama.cpp releasesAI 評分45

llama.cpp 為 ggml 後端緩衝區介面新增 alloc_buffer_n

llama.cpp 的 ggml 後端緩衝區型別介面新增 alloc_buffer_n 方法,並公開 API ggml_backend_buft_alloc_buffer_n,同時加入 get_alloc_size_n 與配套測試。預設實現負責多緩衝區拆分與張量分配,Meta 緩衝區型別提供按裝置建立子上下文的自訂實現;cpu、metal、openvino、hexagon、webgpu 等現有後端介面先置為 NULL。

機器之心● 精選AI 評分72

田淵棟:用 GPT-5 合寫論文效率提升 6-10 倍,判斷工作五年內被取代

田淵棟在播客中稱,把 GPT-5 當合作者完成在 Meta 的最後一篇論文(grokking 研究)後,效率提升約 6 到 10 倍,由此判斷自己的工作五年內會被取代,於是聯合創辦 Recursive Superintelligence。該公司今年 5 月結束隱身,以 46.5 億美元估值融資超 6.5 億美元,GV 和 Greycroft 領投,輝達、AMD 參投。他同時強調模型自己想出的點子仍很平庸,研究閉環中最難自動化的是提出想法,並表示公司會開源研究成果。