llama.cpp 新增 /v1/systemone API，支援 laya 等 5 個模型
llama.cpp 發布 b11361，在 server 中新增 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型，並附帶模型轉換指令碼。該版本加入了共享 prompt 字首與視覺輸入支援，新增用於測試的小模型 openjev tiny，文件中明確說明不支援 date_facts。macOS Apple Silicon（arm64）建置正常，但啟用 KleidiAI 的 arm64 版本被標記為 DISABLED；
你正打算在 Apple Silicon 上用 llama.cpp 跑本地模型，這次 server 新增的 systemone API、共享 prompt 字首與視覺支援，以及 KleidiAI 建置被停用的情況，都直接影響你本地推理服務的選型與部署。
原標題：b11361
閱讀原文
| 評分 | 72 / 65（平均 68，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
llama，伺服器：新增 /v1/systemone API（模型：laya、julia-1、lev、openjev、kev）（#29818）
初始化轉換
轉換：正常
模型已載入
新增伺服器程式碼
改進轉換指令碼
支援共享提示字首
新增文件，稍微改進使用者體驗
新增視覺支援
新增 openjev 微型模型用於測試
新增開發文件
支援 lev 和 kev
清理
修復 lev noul
修復 py lint
文件細節
澄清不支援 date_facts
網站：
https://llama.app
證明：
https://github.com/ggml-org/llama.cpp/attestations/52320438
macOS/iOS：
macOS Apple Silicon（arm64）
macOS Apple Silicon（arm64，啟用 KleidiAI）已停用
macOS Intel（x64）
iOS XCFramework
Linux：
Ubuntu x64（CPU）
Ubuntu arm64（CPU）
Ubuntu s390x（CPU）
Ubuntu x64（Vulkan）
Ubuntu arm64（Vulkan）
Ubuntu x64（CUDA 12）- CUDA 12.8 庫
Ubuntu x64（CUDA 13）- CUDA 13.4 庫
Ubuntu arm64（CUDA 13）- CUDA 13.4 庫
Ubuntu x64（ROCm 10.0）
Ubuntu x64（OpenVINO）
Ubuntu x64（SYCL FP32）
Ubuntu x64（SYCL FP16）
Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 設定指南
Android：
Android arm64（CPU）
Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 設定指南
Windows：
Windows x64（CPU）
Windows arm64（CPU）
Windows arm64（OpenCL Adreno）
Windows x64（CUDA 12）- CUDA 12.4 DLL
Windows x64（CUDA 13）- CUDA 13.4 DLL
Windows arm64（CUDA 13）- CUDA 13.4 DLL
Windows x64（Vulkan）
Windows x64（OpenVINO）
Windows x64（SYCL）
Windows x64（ROCm 10.0）
openEuler：
已停用
openEuler x86（310p）
openEuler x86（910b，ACL Graph）
openEuler aarch64（310p）
openEuler aarch64（910b，ACL Graph）
UI：
UI
由 AI 翻譯，以原文為準。
原文
llama, server: add /v1/systemone API (models: laya, julia-1, lev, openjev, kev) ( #29818 )
init conversion
convert: ok
model loaded
add server code
improve conversion script
support shared prompt prefix
add docs, imorove UX a bit
add vision support
add openjev tiny model for testing
add dev docs
support lev & kev
clean up
fix lev noul
fix py lint
nits docs
clarify about not supporting date_facts
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/52320438
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI