搜尋

llama.cpp 支援批次內混合 embd 與原始 token

llama.cpp 合併 PR #29622，在單一批次中同時支援嵌入向量（embd）和原始 token，並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type，並統一 m-rope 位置處理。