AISpot

搜尋

找到 6 筆

llama.cpp releasesAI 評分43

llama.cpp 修復投機解碼下 logprobs 為空的問題

llama.cpp 建置 b11776 修復了服務端在開啟投機解碼(speculative decoding)時無法正確返回 logprobs 的問題:此前被接受的草稿 token 其 logprob 報為 0.0、top_logprobs 為空,現在改為返回目標模型的 logprobs。同時新增迴歸測試(#24271),把開啟草稿的執行與不開草稿的基線做對比,該測試在修復前的版本上失敗,應用 #27196 後通過。

llama.cpp releasesAI 評分37

llama.cpp 修復 ggml-cpu 中 soft_max_back 別名輸出錯誤

llama.cpp 合併 PR #27096,修復 ggml-cpu 後端 GGML_OP_SOFT_MAX_BACK 在 dst 與 src1(y)別名時輸出靜默錯誤的問題:原實現先覆蓋 y 再讀取,導致結果錯誤。補丁改為單次融合迴圈,先讀兩個輸入再寫出,並新增迴歸測試強制觸發該別名。CUDA 核心因先完成歸約再寫出,不受影響。

llama.cpp releasesAI 評分43

llama.cpp 修復 gguf-split 對截斷 GGUF 靜默輸出損壞張量

llama.cpp 建置 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查,輸入 GGUF 檔案被截斷時直接拒絕,不再靜默產出損壞的張量資料。修復點位於 gguf-split.cpp 的 copy_file_to_file(split_strategy)與 export-lora.cpp 的 read_tensor_data,並附帶回歸測試,驗證截斷輸入被拒絕、合法張量資料仍被保留。

llama.cpp releasesAI 評分40

llama.cpp 修復 qkx3 量化縮放搜尋的非法舍入

llama.cpp 合併 PR #29817,修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題:當 imatrix 擬合的最小值塌縮為最大值或範圍極小時,會產生無窮、NaN 或越界值,傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax],並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試,對應 issue #29804。

Ollama releasesAI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。

r/LocalLLaMA top of the day● 精選AI 評分80

微軟發布 4B 程式設計智慧體模型 FrogNano

微軟推出 FrogNano-4B-2609,一個面向低視訊記憶體裝置的程式設計智慧體模型,基於 Qwen3.5-4B 後訓練而來。其額外訓練為純文字、聚焦倉庫級軟體工程,用約 1500 個合成 SWE 任務環境和基於可執行測試的獎勵做強化學習,不依賴更強模型的解題軌跡蒸餾。模型需配合 Leaf 工具框架生成結構化工具呼叫,產出的補丁須經人工審查、迴歸測試與安全驗證後才能使用。