搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases● 精選10/4 01:37AI 評分63

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 在 WebGPU 後端為 fill/set_rows 操作加入 f16 支援（PR #29897），併發布 b11382 版本。該版本覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 等平台，其中 macOS Apple Silicon 的 KleidiAI 建置被停用。對使用 WebGPU 推理的使用者，f16 支援可減少視訊記憶體佔用並提升相容性。

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

閱讀原文

r/LocalLLaMA top of the day10/3 08:00AI 評分62

LiquidAI 發布 LFM2.5-Encoder 350M 多語言編碼器

LiquidAI 發布 LFM2.5-Encoder，含 350M 與 230M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度任務。官方稱其吞吐量追平或超過 ModernBERT，CPU 長上下文更強，並可通過 WebGPU 在瀏覽器執行；GGUF 權重已發布，llama.cpp 支援 PR 已提交。

模型開源 LFM2.5-Encoder encoder GGUF llama.cpp on-device

閱讀原文