越獄 PS5 用 GPU 跑 llama.cpp，變成區域網模型伺服器
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
把 llama.cpp 搬上游戲主機 GPU 並對外提供 OpenAI、Anthropic 相容介面，還給出 9B/27B 模型的實測吞吐與 11.4 GB 視訊記憶體上限，對關注本地私有推理與主機改機玩法的人有參考價值。
原標題：Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
閱讀原文
| 評分 | 68 / 72（平均 70，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
Qwen3.8-Flash-Next 177B 在單張 RTX 5070 上跑出 11-15 tok/s
有人在 Windows 上用 llama.cpp 的專家流式方案，在單張 RTX 5070 12GB 加 32GB DDR4-2400 記憶體上執行 Qwen3.8-Flash-Next 177B（UD-IQ3_XXS），基準約 11.5 tok/s，日常對話可達 14-15 tok/s。一次長程式設計提示以 10.15 tok/s 生成 4,892 個 token，產出一個可執行的單檔案貪吃蛇遊戲。
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。