llama.cpp releases● 精選AI 評分77
llama.cpp 服務端新增 /v1/realtime 即時對話與轉寫
llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931，並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣：此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits，導致併發會話輸出互相混淆，現在改為每個 slot 在自身解碼後立即取樣；
找到 1 筆；也可以試試 語意搜尋
llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931，並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣：此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits，導致併發會話輸出互相混淆，現在改為每個 slot 在自身解碼後立即取樣；