llama.cpp releasesAI 評分42
llama.cpp 新增回撥，推理時可上報計算圖重新分配
llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback，使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後，可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。
找到 1 筆；也可以試試 語意搜尋
llama.cpp 建置 b11567 引入可選的 ggml_backend_sched_realloc_callback，使用者程式碼通過 ggml_backend_sched_set_realloc_callback 註冊後，可在為計算圖預留的緩衝區不足、需要重新分配時收到通知。回撥會報告後端分配方案與圖大小相對上次排程是否發生變化。