AISpot

搜尋

找到 2 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分44

llama.cpp 修復控制向量層索引與 M-RoPE 位置越界寫入

llama.cpp 建置 b11972 修復了兩個可能導致越界寫入的缺陷。common 部分讀取控制向量時,方向張量的層索引此前沒有上界,超大索引會讓以 int 計算的緩衝區大小和寫偏移溢位,從而寫到緩衝區之前;現在改為傳入模型層數、拒絕超限索引,並用 size_t 計算。

llama.cpp releasesAI 評分41

llama.cpp 支援批次內混合 embd 與原始 token

llama.cpp 合併 PR #29622,在單一批次中同時支援嵌入向量(embd)和原始 token,並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type,並統一 m-rope 位置處理。