AISpot

搜尋

找到 4 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分43

llama.cpp 修復取樣圖:跨 ubatch 保持靜態,避免重分配建置中斷

llama.cpp 建置 b11530 修正了後端取樣圖的拓撲問題:現在每個 sampler 都建置 n_outputs_max_per_seq 條取樣鏈,使取樣圖在不同 ubatch 之間保持靜態。此前 reserve 階段按每個 sampler 建鏈,而 decode 階段按每行輸出建鏈,圖拓撲因此變化,導致 GGML_SCHED_NO_REALLOC 建置在下一次遇到同尺寸圖時中止。

llama.cpp releasesAI 評分20

llama.cpp 修復 server 因 n_batch 超限導致的 abort

llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。

llama.cpp releasesAI 評分42

llama.cpp 修復圖重分配導致的 GGML_SCHED_NO_REALLOC 中止

llama.cpp 合併 PR #29856,將迴圈狀態改為一次 get_rows 收集,ubatch 狀態與額外狀態都作為其檢視,節點大小隻取決於 n_rs,而 reserve 已將其設為最大值。此前 build_rs 用獨立 get_rows 收集 n_rs - n_seqs 行額外狀態,最壞情況下該節點被設為 0 行,非連續 ubatch 會在節點數不變時觸發圖重分配,進而在 GGML_SCHED_NO_REALLOC 下中止。