搜尋

找到 50 筆

Hacker News front page10/6 22:59AI 評分39

Penguin Mail 1.0 發布：Rust 開源 Linux 郵件客戶端，可選本地 AI 助手

Penguin Mail 發布 1.0.0，一款面向 x86_64 Linux、以 GPL-3.0-or-later 授權的免費 Rust 開源郵件客戶端。它把 Gmail、Microsoft（Outlook、Hotmail、Live、Microsoft 365）及任意 IMAP/POP3/SMTP 帳戶、日曆（CalDAV）與聯絡人（CardDAV）合併進一個本地應用，並支援通過本機 GnuPG 做 OpenPGP 與 S/MIME 簽名加密。

產品與方案開源開源 Rust Linux 郵件客戶端本地推理

r/LocalLLaMA top of the day10/3 05:10AI 評分43

mlsubgen 本地生成 45 種語言字幕，僅支援 Linux 與 NVIDIA

開源工具 mlsubgen 可在本機為影片生成 45 種語言字幕，僅支援 Linux 與 NVIDIA 顯示卡。它按每段語音檢測語言而非整檔案，同時執行兩個語音識別器並用本地 LLM 調和，且優先使用內嵌字幕軌（含藍光 PGS 點陣圖 OCR），無字幕時才聽音訊。模型佔用 30–65 GB 儲存，需 16–32 GB 記憶體，作者在 24 GB RTX A5000 上實測，純聽音訊時約每個目標語言耗時接近即時。

地端推論開源字幕生成本地推理 Whisper NVIDIA 多語言

llama.cpp releases10/7 12:31AI 評分37

llama.cpp 發布 b11465，覆蓋 CUDA 13 與 ROCm 10.0 等平台

llama.cpp 發布建置版本 b11465，本次改動是「測試：在測試遞迴回滾時保留 anchor」（#29923）。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13（CUDA 13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp 版本更新本地推理建置發布

Hacker News front page10/2 03:51AI 評分43

Greg Kroah-Hartman 在 Kernel Recipes 2026 談 LLM 時代的安全

Linux 核心穩定分支維護者 Greg Kroah-Hartman 在 Kernel Recipes 2026 發表題為《Security in the LLM age》的演講，影片時長 56 分 51 秒，於 2026 年 9 月 29 日發布在 Kernel Recipes 的 YouTube 頻道，目前播放量約 9,566 次、193 個贊、32 條評論。該頻道訂閱數 8.1K，影片採用 Creative Commons 署名許可，部分語言的音軌為自動生成。

政策與安全 LLM 安全 Linux 核心 Kernel Recipes

llama.cpp releases10/7 07:02AI 評分37

llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ

llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。

開發工具地端推論 llama.cpp SYCL IQ3_S MMVQ 版本發布

llama.cpp releases10/3 02:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/4 15:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/2 14:52AI 評分17

llama.cpp 發布 b11346 版本，修復 qwen4exp 測試

llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

X @deepseek_ai● 精選10/2 08:00AI 評分62

DeepSeek 發布 Harness 桌面版，支援 macOS 與 Windows

DeepSeek 官方推出 DeepSeekHarness 的打包桌面版本，覆蓋 macOS 與 Windows 兩個平台。Linux 使用者可通過 npm 上的 @deepseek-ai/dsh 包獲取。官方在社交帳號上公布了這一訊息，並給出下載地址 deepseek.com/harness。

開發工具產品與方案 DeepSeek Harness 桌面應用 npm

llama.cpp releases10/4 09:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/4 23:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

llama.cpp releases10/7 11:13AI 評分35

llama.cpp 發布 b11462，含 SYCL fattn 緩衝區清理

llama.cpp 發布 b11462 建置，本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理（#27689）。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL 本地推理開源版本發布

llama.cpp releases10/4 01:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases10/3 16:54AI 評分20

llama.cpp 修復 server 因 n_batch 超限導致的 abort

llama.cpp 合併 PR #29903，通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題，對應 issue #29902。該修復由 Claude 輔助完成，並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台，包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。

地端推論開源 llama.cpp bug fix n_batch n_ubatch release

llama.cpp releases10/3 09:36AI 評分43

llama.cpp 新增 clef 決策模型純文字支援

llama.cpp 合併 PR #29831，為 clef 決策模型加入初始支援，目前僅限純文字輸入。該改動同時更新了 gguf-py 常量並清理了靜態圖相關程式碼，隨附的建置產物覆蓋 macOS、Linux、Windows、Android 與 openEuler 等多個平台。

地端推論開源 llama.cpp GGUF clef 本地推理

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/4 18:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

llama.cpp releases10/5 14:23AI 評分49

llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加

llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 CUDA NVFP4 量化效能最佳化 llama.cpp

llama.cpp releases10/4 20:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/7 14:02AI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp 本地推理 PLaMo FIM 版本更新

llama.cpp releases10/4 13:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

地端推論開源 llama.cpp Vulkan RDNA4 版本更新

llama.cpp releases10/5 09:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

llama.cpp releases10/3 22:35AI 評分18

llama.cpp 修復 Windows 下 mtmd 的 strdup 棄用警告

llama.cpp 合併提交 #29863，修復 mtmd 在 Windows 上使用已棄用 strdup 函式產生的編譯警告，由 Hugging Face 的 Adrien Gallouët 提交。該提交隨新版本發布，覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台建置，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 部分建置被標記為 DISABLED。

地端推論開源 llama.cpp Windows 建置發布 strdup

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 06:02AI 評分36

llama.cpp 發布 b11459：ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459，唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL；

地端推論開源 llama.cpp ggml-webgpu WASI 建置跨平台

llama.cpp releases10/5 15:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

llama.cpp releases10/6 22:09AI 評分41

llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流

llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp CUDA ROCm 本地推理版本更新

llama.cpp releases10/3 22:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/2 23:23AI 評分37

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

llama.cpp releases● 精選10/5 17:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/4 21:07AI 評分45

llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化

llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。

地端推論開發工具 llama.cpp tinyBLAS BF16 CPU 推理 SIMD 向量化

llama.cpp releases● 精選10/3 01:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/7 13:28AI 評分35

llama.cpp 發布 b11468，cpp-httplib 升級至 0.60.0

llama.cpp 發布新建置 b11468，主要變更是將 cpp-httplib 升級到 0.60.0（#30081）。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物，後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與…

開源地端推論 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/5 08:41AI 評分42

llama.cpp 為 WebGPU 後端加入多種量化格式 MMVQ 支援

llama.cpp 合併 PR #29483，為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援，併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍，相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。

地端推論開源 llama.cpp WebGPU MMVQ 量化 MXFP4

llama.cpp releases10/3 14:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

llama.cpp releases10/7 12:52AI 評分42

llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查

llama.cpp 發布 b11466，唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查（#28205）。該版本同步更新各平台預編譯包，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp WebGPU flash attention 本地推理版本發布

llama.cpp releases10/3 00:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 07:53AI 評分42

llama.cpp 發布 b11461，修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461，主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點（checkpoint）讀取過慢的問題，對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp Vulkan AMD iGPU 版本更新本地推理

llama.cpp releases10/2 15:28AI 評分20

llama.cpp 更新為 Hexagon NPU 安裝重建的 HTP skels

llama.cpp 合併 PR #29828，為高通 Hexagon NPU 安裝重建的 HTP skels，並修復 HTP skel 目錄依賴。該改動面向在驍龍裝置上通過 Hexagon NPU 執行本地推理的使用者，涉及 Linux arm64 與 Android arm64 的 Snapdragon 建置。相關建置產物已隨本次發布提供，並附有 attestations 連結。

地端推論開源 llama.cpp Hexagon NPU HTP 本地推理版本發布

Hacker News front page10/2 20:26AI 評分41

Meta 開源 Muse Gadgets 硬體 SDK，支援 ESP32 與樹莓派

Meta 為 Muse 推出開源硬體專案 Muse Gadgets，提供 ESP32 Device SDK 與 Linux Device SDK，可讓自建裝置接入 Muse 的顯示、按鈕、感測器與執行器。SDK 與韌體以 Apache 2.0 許可開源，官方同時列出樹莓派 5、Waveshare ESP32-S3、M5Stack StickS3 等範例專案，並預告 Muse on your TV 即將推出。

產品與方案開發工具開源硬體 SDK ESP32 Raspberry Pi Muse Gadgets

3 個來源 · 3 則報導閱讀原文

llama.cpp releases10/3 07:27AI 評分42

llama.cpp 發布 b11370，CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。

地端推論開源 llama.cpp CUDA MMVQ MoE 推理最佳化

2 個來源 · 2 則報導閱讀原文

Hacker News front page10/3 16:55AI 評分50

Docker 自 2016 年起一直在用 microVM

Docker 工程師 Dave Scott 指出，Docker Desktop 自 2016 年 Docker for Mac 起就一直基於 microVM 技術，而非傳統 Linux 容器。該方案用 Mirage Unikernel 庫建置可嵌入的庫式 VMM（從 hyperkit 演進到 Docker VMM），配合 LinuxKit 精簡核心，實現全平台 rootless 執行、最小化裝置介面與網路策略管控。

產品與方案開發工具 microVM Docker Desktop Docker Sandboxes 容器隔離 coding agent

llama.cpp releases10/4 10:37AI 評分27

llama.cpp 修復預設白名單中失效的 LLAMA_ARG_HF_REPO_FILE 鍵

llama.cpp 發布 b11385 版本，修復了預設允許列表中失效的 LLAMA_ARG_HF_REPO_FILE 鍵（#29938）。該版本繼續為 macOS、Linux、Windows、Android 等平台提供建置，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置被標記為 DISABLED…

地端推論開源 llama.cpp 版本更新本地推理 Hugging Face

llama.cpp releases10/4 11:03AI 評分29

llama.cpp 發布 b11386，為路徑轉換準備 load_from_models_dir()

llama.cpp 發布 b11386 版本，提交內容是為路徑轉換準備 load_from_models_dir()，屬於 fs::path 現代化系列的一部分，並藉此機會移除了 fs_list()。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置產物，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp 版本更新 fs::path 跨平台建置

Claude Code releases10/6 04:55AI 評分36

v2.1.291

Claude Code 發布 v2.1.291，修復了兩個此前版本引入的迴歸問題。其中 2.1.290 可能導致雲會話（cloud sessions）丟失對權限提示的應答，2.1.288 可能導致退出時丟失會話最後幾條訊息。該版本提供 macOS（arm64/x64）、Linux（glibc 與 musl，arm64/x64）及 Windows（arm64/x64）安裝包，單個約 95–108 MB，並附 SHA256 校驗檔案。

開發工具 Claude Code 版本更新 bug 修復

llama.cpp releases10/2 14:11AI 評分43

llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援

llama.cpp 合併 PR #29717，為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援，並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交，面向在驍龍 Hexagon NPU 上執行本地推理的使用者，相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。

地端推論開源 llama.cpp Hexagon 量化 q2_k q3_k

llama.cpp releases10/6 19:34AI 評分45

llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

地端推論開源 llama.cpp CUDA BF16 FP16 cuBLAS

llama.cpp releases10/6 19:16AI 評分40

llama.cpp b11447 發布：新增 pplx-decider 模型支援

llama.cpp 發布 b11447 建置版本，本次列出的功能變更是新增對 pplx-decider 模型的支援（PR #30044）。該版本一次性放出 macOS/iOS、Linux、Android、Windows、openEuler 五個平台的預編譯產物，計算後端覆蓋 CPU、CUDA 12.8 與 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL，以及驍龍平台的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp pplx-decider 本地推理跨平台建置版本發布

OpenRouter announcements● 精選9/8 01:00AI 評分80

OpenRouter 推出託管沙箱 Shell 與 Files API

OpenRouter 發布 openrouter:shell 伺服器工具和 Files API，任何模型都能在託管 Linux 容器中執行命令並讀寫檔案，兩項功能均處於 beta 階段。沙箱按每秒 0.0001 美元計費並計入請求費用，容器空閒 5 分鐘後休眠，網路預設關閉且策略啟動後不可更改。

產品與方案開發工具 OpenRouter Shell Files API 沙箱 server tool

Hacker News front page10/7 04:30AI 評分65

開源個人 agent nanoMuse 發布 0.1.40，可全平台自託管

開源個人 agent nanoMuse 發布 0.1.40 版，手機、桌面、網頁與 relay 的程式碼全在同一倉庫，採用 GPL-3.0-or-later，可自託管。它不止問答：帶 Linux shell、瀏覽器、MCP，並能在手機和電腦螢幕上直接操作沒有 API 的應用，刪除、傳送、付款前先詢問；手機上的指令可交給 PC 執行。

訂閱動態產品與方案開發工具開源自託管端側智慧體 MCP

llama.cpp releases10/6 17:07AI 評分41

llama.cpp 修復 Vulkan 後端在 1.0 loader 上的空指標呼叫

llama.cpp 合併 PR #29872，在 Vulkan 後端初始化時檢查 vkEnumerateInstanceVersion 是否為空指標。Vulkan 1.0 的 loader（例如 Android 8.1）不提供該函式，此前會讓後端初始化直接呼叫空指標，現在這類 loader 被與所有低於 1.2 的 loader 同樣處理。該補丁修復 issue #29871，並隨本次建置的 macOS、Linux、Windows、Android 等多平台產物一同發布。

地端推論開源 llama.cpp Vulkan Android 8.1 空指標崩潰版本更新

Hacker News front page10/6 21:40AI 評分57

Photoshop 已有四個可行替代品，三個完全開源

2026 年 10 月，可用的 Photoshop 替代品已不止一個，而是四個，其中三個完全開源。Photon Studio 雖非開源但免費，提供 macOS、Windows、Linux 二進位制，支援本地 AI 模型與 agent 驅動，能完整讀寫 PSD 的智慧物件、混合模式和圖層效果；PhotoCraft 用純 Rust 重寫，可正常匯出 PSD 但顏色調整解讀有偏差；PhotoSuite 宣稱 1:1 相容 PSD/PSB，介面最接近 Photoshop；

產品與方案開發工具 vibe coding agentic coding Photoshop 替代品 PSD 開源