搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases● 精選10/21 04:14AI 評分75

llama.cpp 新增即時語音轉寫 API

llama.cpp 的 server 加入 Realtime transcription API，可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話，會話物件採用 type transcription，輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權，支援 Bearer、原始 key 與 X-Api-Key，401 在升級前返回；

地端推論開源 llama.cpp 即時轉錄 WebSocket Realtime API

閱讀原文

r/LocalLLaMA top of the day10/3 15:42AI 評分52

自建魔獸私服，讓 LLM 在瀏覽器裡玩遊戲

作者搭建了魔獸世界私服 jankcraft.xyz，並開發瀏覽器客戶端，PC 和手機均可免費遊玩。隨後用自訂 MCP 與 agent harness 通過 websocket 控制客戶端，讓 LLM 自動玩遊戲，agent 頁面已上線。本地模型需服務端開啟 CORS，作者自託管的幾個模型可能因用量增長下線；24GB 記憶體可跑 Qwen3.8-27B-GPTQ-W4A16，16GB 記憶體可用 vLLM 跑 Gemma4-e4b-coder。

開發工具地端推論 MCP agent harness 本地模型 Qwen vLLM

閱讀原文