搜尋

依意思最接近的 30 筆

機器之心10/19 10:11AI 評分50

通衍靈智提出 RSI 閉環，用 Personal LoRA 做模型層個性化

通衍靈智提出以 RSI（遞迴自我改進）為核心的個性化路線：在共享基座模型上用輕量 Personal LoRA 承載個人、專案與企業的專屬能力，而非重訓基座。RSI 以 Accept/Reject、Code Review 等真實反饋訓練 Evaluator，篩選正負樣本後增量更新 LoRA，驗證失敗則回滾。

模型產品與方案個性化模型持續學習 RSI Paged LoRA 訓推並行

2 個來源 · 2 則報導閱讀原文

量子位10/19 14:31AI 評分40

通研院孵化團隊做 RSI 個性化 AI，用 LoRA 承載專屬能力

北京通用人工智慧研究院體系孵化的通衍靈智公布 RSI（遞迴自我改進）個性化 AI 路線：在共享基礎模型之上，用輕量 Personal LoRA 承載個人與企業的專屬能力。Evaluator 先按使用者標準篩選業務反饋，只把反覆出現的模式用於增量更新；更新後要與舊版本在同一批任務上對比，退化就回滾。

模型研究 Personal AI RSI Personal LoRA Paged LoRA 持續學習

2 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選10/15 17:15AI 評分85

llama.cpp v0.7.0 發布：MoE 專家快取最高帶來 2.2 倍解碼提速

llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。

模型地端推論 llama.cpp 推測解碼 MoE 本地推理 v0.7.0

2 個來源 · 3 則報導閱讀原文

機器之心● 精選10/16 06:58AI 評分83

KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍

清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。

地端推論開源 KTransformers MoE LoRA CPU/GPU 協同計算 LlamaFactory

llama.cpp releases10/2 23:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 12:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

地端推論開源 llama.cpp Vulkan RDNA4 版本更新

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/13 20:40AI 評分31

llama.cpp b11598 為 laguna 模型載入 YaRN beta 後設資料

llama.cpp 發布 b11598 建置，主要變更是為 laguna 系列模型載入 YaRN beta 後設資料（#30331），該提交由 Codex 協助完成。

地端推論開源 llama.cpp YaRN laguna 本地推理版本發布

llama.cpp releases10/11 12:31AI 評分46

llama.cpp 新版最佳化 Vulkan 上 MoE 重複專家的矩陣乘

llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。

地端推論開源 llama.cpp Vulkan MoE 推理最佳化 b11554

llama.cpp releases10/3 01:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/15 06:55AI 評分40

llama.cpp 建置 b11641：spec 新增 lilicorr 支援

llama.cpp 發布建置 b11641，其中 spec（推測解碼）新增 lilicorr 支援（PR #30506），是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式，併為 llama-batch.cpp 中的 hparam 使用留下 TODO，另有一處 typo 修復，提交由 Georgi Gerganov 共同署名。

地端推論開源 llama.cpp 本地推理建置發布 lilicorr spec

llama.cpp releases10/8 04:19AI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；

地端推論開源 llama.cpp LiquidAI d1-omni-600M 多模態本地推理

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/11 13:13AI 評分43

llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題

llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；

開源地端推論 llama.cpp AVX2 F16C CPU 推理版本發布

r/LocalLLaMA top of the day10/2 18:47AI 評分65

llama.cpp 新 PR 將共享專家融合進 MMVQ，部分 MoE 架構提速

llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。

地端推論開源 llama.cpp CUDA MoE 推理加速 Qwen

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/10 03:30AI 評分43

llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理

llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 SYCL MXFP4 MoE llama.cpp 版本發布

llama.cpp releases● 精選10/15 13:14AI 評分60

llama.cpp 新增 maion-coder 架構支援

llama.cpp 發布 b11658 建置，新增對 maion-coder 模型架構的支援，並加入對 Draft 模型的推理支援，提交者包括微軟的 Karthik Vijayan。

開發工具地端推論 llama.cpp maion-coder Draft models 本地推理版本更新

Hacker News front page10/14 16:55AI 評分72

Linus Torvalds 發布首個 LLM 輔助核心補丁系列

Linus Torvalds 發布了首個由 LLM 輔助編寫的補丁系列，共 10 個補丁，用於解決一個長期存在的問題，已提交核心郵件列表評審。該系列改進 folio 查詢：識別出熱 folio 後延遲到 RCU 週期之後再釋放，使 folio 資料訪問本身也能在 RCU 保護區內完成，快速路徑無需取引用計數，在 read() 密集的基準測試中帶來約一個數量級的加速。不過評審已指出程式碼存在競態條件，仍需繼續修改。

開源 LLM 輔助開發 Linux 核心補丁審查 RCU folio

llama.cpp releases10/5 04:35AI 評分37

llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程

llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。

地端推論開源 llama.cpp CUDA FlashAttention 版本更新本地推理

llama.cpp releases● 精選10/3 11:54AI 評分70

llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能

ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。

地端推論開發工具 OpenVINO llama.cpp MoE Qwen3.5 推理最佳化

llama.cpp releases10/16 05:50AI 評分39

llama.cpp 為 MELLUM 架構加入精度處理支援

llama.cpp 發布新建置 b11681，為 MELLUM 架構加入精度處理（PR #30584）。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp MELLUM 精度處理本地推理建置版本

X @ollama10/15 17:14AI 評分47

@ollama: Amazing to see @AIatMeta launch the best US open-weight model so far!

Ollama 官方表示，Meta 最新發布的開放權重模型將很快在 Ollama 上線。Ollama 稱其為迄今美國最好的開放權重模型，但未透露模型名稱、引數規模與具體上線時間。

模型開源開源權重本地推理 Llama

2 個來源 · 3 則報導閱讀原文

Ollama releases10/18 00:28AI 評分42

v0.40.7

Ollama 發布預發布版 v0.40.7，三項改動中最主要的是 llama-server 現在能自行推斷投機解碼所需的草稿模型型別，不再需要手動指定。MLX 後端新增 PPLX Decider v1.2 支援，OpenAI 相容層則允許在非思考模型上使用 Responses 的 effort 引數。

地端推論開源 Ollama 本地推理 llama.cpp MLX 預發布版本

llama.cpp releases10/9 09:29AI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Metal Flash Attention 建置發布

Hacker News front page10/5 22:30AI 評分71

Aria 微調後可按指定爵士鋼琴家風格續寫

研究者在鋼琴 MIDI 上預訓練的 transformer Aria 上做微調，用 12 位爵士鋼琴家的獨奏資料並插入門控交叉注意力層，讓模型按指定鋼琴家風格續寫。用鋼琴家分類器沿生成片段滑動判定，帶條件的續寫有 70% 被認成目標鋼琴家，不帶條件只有 37%，隨機為 8%，而困惑度幾乎分不出兩者（6.82 對 6.96）。僅在生成音樂上訓練的第二個分類器識別真實錄音的準確率達 95%，模型還可標出真實演奏中風格最集中的段落。

研究音樂生成 MIDI 風格遷移 Transformer 跨注意力

Hacker News front page10/17 04:36AI 評分68

Llmspeed 上線：按硬體和模型查本地大模型推理速度

Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。

產品與方案開發工具本地推理硬體基準效能估算硬體選購開源

llama.cpp releases10/15 15:44AI 評分40

llama.cpp 發布 b11662 建置，含 ROCm 10.0 與 CUDA 13 版本

llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp GGML 本地推理跨平台版本發布

llama.cpp releases● 精選10/7 14:59AI 評分62

llama.cpp Metal 把 few-row MMA 核心擴充套件到 BF16、MXFP4 等型別

llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別，BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別，各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用：TQ2_0 為 5 行，BF16 為 4 行，MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行，其餘為 2 行。

地端推論開源 llama.cpp Metal MMA 量化 M3 Ultra

1 個來源 · 3 則報導閱讀原文

llama.cpp releases● 精選10/5 16:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/19 01:54AI 評分42

llama.cpp b11722 為 Hexagon NPU 加入多流 flash attention

llama.cpp 發布 b11722，Hexagon 後端新增多流 flash attention（multistream FA）支援，驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。

地端推論開源 llama.cpp Hexagon NPU multistream FA Snapdragon 本地推理

機器之心● 精選10/19 11:02AI 評分77

人大高瓴與百度等開源 LoopVL：迴圈 Transformer 擴充套件到視覺語言模型

人大、百度、清華等機構開源視覺語言模型 LoopVL，把迴圈 Transformer 擴充套件到多模態：僅 1B 語言主幹、0.14T 訓練 token，就在 MMMU-Pro、MathVision 等評測上追平或超過用約 36T token 訓練的 Qwen3.5-2B、InternVL3.5-2B。模型以 32 層引數展開 128 次層呼叫（H2L3×2），影像只編碼一次，後續迴圈持續更新視覺—語言狀態；

研究開源迴圈 Transformer 視覺語言模型 LoopVL Visual Aha Moment 開源