llama.cpp 登上 Windows 活動舞臺,作者期待本地 AI 普及
llama.cpp 作者 Georgi Gerganov(@ggerganov)稱,llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起,社群過去多年的努力得到體現,並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容,也未提及 llama.cpp 在其中的展示形式。
原標題:@ggerganov: It is very cool to see llama.cpp on the big stage in todays Windows event!
閱讀原文
| 評分 | 45 / 45(平均 45,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
llama.cpp 發布 b11384 版本,覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 發布 b11396 版本,Windows LLVM 建置需 Ninja 多配置
llama.cpp 發布 b11396 版本,主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置(#29959)。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…
llama.cpp 首日支援 EmbeddingGemma 2
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援,由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face,可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行,無需等待社群自行轉換。
llama.cpp 發布 b11459:ggml-webgpu 在 WASI 上停用 Dawn 原生特性
llama.cpp 發布建置 b11459,唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon(arm64)與 Intel(x64)、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL;
llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理
llama.cpp 現在可以通過 ggml RPC 後端,把推理任務分散到異構裝置上共同完成,即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明,這一能力目前仍是進階設定,但會隨時間逐步降低使用門檻,讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。