搜尋

llama.cpp 最佳化 pooled embeddings：跳過 LM head 與取樣層

llama.cpp 發布 b11597 建置：提取 pooled embeddings 的上下文不再展開 LM head，模型只宣告 t_logits，除非池化型別不是 NONE，set_outputs() 才會展開它，省去了每個 token 的 n_vocab 維 logits 計算和對應的 host buffer。改動同時新增獨立的 build_logits() 來建置 LM head，並在 build_sampling() 之前呼叫；