搜尋

@ggerganov

transformers 現可直接執行 GGUF 模型

ggml 作者 ggerganov 宣布，transformers 現在可以直接執行 GGUF 模型。這項工作把 ggml 的 Metal 核心引入 transformers 生態，提升了相容性與效能。更多細節見其後續說明。

NVIDIA 收購 Hugging Face，llama.cpp 承諾保持硬體中立

NVIDIA 已收購 Hugging Face，llama.cpp 作者 ggerganov 確認這一訊息。NVIDIA 工程師已為 llama.cpp 貢獻程式碼、協作社群並提供開發測試硬體超過一年。ggerganov 表示 llama.cpp/ggml 將繼續堅持硬體無關原則，所有後端的開發與支援仍由社群驅動，向所有人開放。

llama.cpp 上線 Decision 模型與 /v1/systemone 端點

llama.cpp 最新建置已支援 Decision 模型，新增 /v1/systemone 端點，可在本地高效、私密地做 Jev 風格推理。該端點支援多個開源模型，後續還會增加。