找到 4 筆；也可以試試 語意搜尋
開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。
有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重（接近 80GB），在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s，編碼時偶爾更高；同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近，DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定，並提醒不要用 Q2 權重。
據 wccftech 報導，Micro Center 現在要求購買 RTX 5090 的顧客簽署一份同意遵守禁出口政策的宣告表格，同時該卡價格已漲破 5000 美元。有使用者稱自己此前買過一臺含 5090 的整機，34 天后再想單獨購買時被經理告知已被無限期禁止購買任何 5090。此舉被認為是為了防止轉售和出口，讓更多普通顧客能買到現貨。
mlsubgen 是一個完全在本機執行的字幕生成工具，支援 45 種語言，但僅限 Linux 和 NVIDIA 顯示卡。它按語音片段而非整檔案檢測語言，可處理混合語言素材；同時執行兩個語音識別器並由本地 LLM 調和結果，且優先使用檔案內嵌字幕（包括藍光 PGS 點陣圖字幕的 OCR），無字幕可讀時才轉錄音訊。作者在 24 GB RTX A5000 上執行，提供 16、12、8 GB 視訊記憶體配置，需 16–32 GB 系統記憶體和 30–65 GB 模型儲存；