AISpot

transformers 現可直接執行 GGUF 模型

X @ggerganov9/22 14:00版本更新開發工具地端推論開源

ggml 作者 ggerganov 宣布,transformers 現在可以直接執行 GGUF 模型。這項工作把 ggml 的 Metal 核心引入 transformers 生態,提升了相容性與效能。更多細節見其後續說明。

你既用 coding agent 又準備在 Apple Silicon 上跑本地模型,這意味著以後在 transformers 裡也能直接吃 GGUF 權重並借 Metal 加速,多了一條繞開 llama.cpp、Ollama 的本地推理路徑。

原標題:@ggerganov: Run GGUF models directly with transformers.
閱讀原文

評分88 / 78(平均 83,門檻 65)
狀態精選(舊聞,已歸檔)