AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分45

llama.cpp 為 IBM Z 的 ggml-zdnn 後端加入 flash attention

llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元(fattn),並去掉原有的 scratch slots,改用 scratch buffer pool 統一管理臨時緩衝,文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台,本次改動隻影響使用 zDNN 加速的建置。