依意思最接近的 5 筆
一批極窄用途的推理執行時正在出現，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 和 vLLM 擅長的通用性，只針對少數模型、有時甚至只針對一個硬體家族（如 Strix Halo）做最佳化。作者認為未來通用執行時負責相容性、一次性專精執行時負責最大效能將成為常態，這也有助於智慧的民主化與去中心化，並壓榨現有硬體的更多產出。
新論文 RLTL;DR 提出一種自我改進方法：模型每次嘗試失敗後，把驗證器輸出展示給它，讓它自己寫一條 TL;DR 式反饋，下一次 rollout 以這條反饋為條件。它針對 RLVR 的侷限——RLVR 要求多次嘗試並只向成功樣本最佳化，當任務難到成功率接近零、又沒有教師模型或範例解可蒸餾時就失效。論文發布於 2026-10-01，原文摘要未給出基準或具體數字。
Google DeepMind 發布一期播客，討論 AI 生成內容逼真化後如何驗證內容來自人類、機器還是自然，核心手段是來源溯源與不可感知水印。節目時間軸顯示內容涵蓋水印定義、SynthID、影像與影片、SynthID Bio 以及未來韌性，其中 SynthID 部分從 4 分 35 秒開始，SynthID Bio 從 19 分 28 秒開始。
MegaCapybara 是專為 RTX5090 打造的推理引擎，聚焦 Qwen3.8 27B，解碼速度約為此前 SOTA 引擎 Ninfer 的兩倍：單路編碼可達 500+ t/s，12 個 agent 併發、800k 上下文時可達 2000+ t/s。它自帶權重格式與後設資料，載入前會展示各量化設定相對 BF16 的 KL 與 top-1% 損失，並支援智慧 VRAM-RAM-DISC 快取、Loop Guard 與圖形介面。採用 MIT 許可，原始碼與權重建置器稍後發布。
開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。