llama.cpp releasesAI 評分40
llama.cpp b12068 允許在 gpt-oss 最終頻道後使用約束型別
llama.cpp 發布 b12068 版本，chat 模組允許在 gpt-oss 的 final channel 之後使用約束型別（#31556），即 gpt-oss 對話格式的解析在進入最終頻道後仍可套用約束。
搜尋
找到 4 筆；也可以試試 語意搜尋
llama.cpp releasesAI 評分58
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
llama.cpp 的 SYCL 後端新增 set_tensor_2d：當目標行連續時，它把主機資料打包成最大 64 MiB 的塊上傳，避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL，llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位，讓 CPU 打包與裝置複製重疊，只在複用槽位時等待；
Hacker News front pageAI 評分68
Llmspeed 上線：按硬體和模型查本地大模型推理速度
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。
Hacker News front pageAI 評分55
開源桌面應用 Hob 發布：本地模型處理檔案，資料不出本機
Hob 是一個 MIT 許可的 Mac、Windows、Linux 桌面應用，用開放權重模型（目前 Gemma 4 與 gpt-oss）在本機讀寫資料夾、跑沙箱 Python、識別圖片，聊天和檔案都不離開系統。首次安裝會自動挑選適合當前硬體的模型，聯網部分只有基於 SearXNG 的網頁搜尋（可在設定裡關閉）和使用者自行新增的 MCP 聯結器。程式碼沙箱只能寫入當前會話資料夾、預設無網路；作者稱 16GB 以上記憶體的機器表現較好。