llama.cpp releasesAI 評分43
llama.cpp 更新:ModernBERT 編碼器改用精確 GELU
llama.cpp 發布 b11532 建置,ModernBERT 編碼器改用精確 GELU(exact GELU),替代此前的近似實現;同時保留 ggml_geglu 上的 tanh GELU 別名,並把 gelu_python 對映到 ggml_geglu_erf。
找到 3 筆;也可以試試 語意搜尋
llama.cpp 發布 b11532 建置,ModernBERT 編碼器改用精確 GELU(exact GELU),替代此前的近似實現;同時保留 ggml_geglu 上的 tanh GELU 別名,並把 gelu_python 對映到 ggml_geglu_erf。
llama.cpp 新建置 b11495 為 reranker 增加了 classifier_activation 引數,可以指定分類頭使用的啟用函式;gelu 現在對映到 gelu_erf 並接受 tanh,預設啟用函式改為 tanh,ModernBERT 則回退到 gelu_erf。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。