llama.cpp releasesAI 評分39
llama.cpp b11878:CUDA 後端融合 Qwen MRoPE 與 set-rows
llama.cpp 發布 b11878,CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合(PR #31025),把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼,該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。
找到 2 筆;也可以試試 語意搜尋
llama.cpp 發布 b11878,CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合(PR #31025),把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼,該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。