搜尋
找到 4 筆;也可以試試 語意搜尋
llama.cpp releasesAI 評分43
llama.cpp 建置 b11530 修正了後端取樣圖的拓撲問題:現在每個 sampler 都建置 n_outputs_max_per_seq 條取樣鏈,使取樣圖在不同 ubatch 之間保持靜態。此前 reserve 階段按每個 sampler 建鏈,而 decode 階段按每行輸出建鏈,圖拓撲因此變化,導致 GGML_SCHED_NO_REALLOC 建置在下一次遇到同尺寸圖時中止。
llama.cpp releasesAI 評分20
llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。
llama.cpp releasesAI 評分42
llama.cpp 合併 PR #29856,將迴圈狀態改為一次 get_rows 收集,ubatch 狀態與額外狀態都作為其檢視,節點大小隻取決於 n_rs,而 reserve 已將其設為最大值。此前 build_rs 用獨立 get_rows 收集 n_rs - n_seqs 行額外狀態,最壞情況下該節點被設為 0 行,非連續 ubatch 會在節點數不變時觸發圖重分配,進而在 GGML_SCHED_NO_REALLOC 下中止。
llama.cpp releasesAI 評分37
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。