AISpot

搜尋

找到 3 筆;也可以試試 語意搜尋

r/LocalLLaMA top of the day10/3 15:15AI 評分5

Reddit 子版被 Strata 好評刷屏,使用者發帖吐槽

Reddit 某子版使用者 Mayion 發帖吐槽,稱整個子版已被關於 Strata 的好評刷屏,像《為美好的世界獻上祝福!》裡邪教不斷編造場景、宣稱唯一齣路是入教的橋段。帖子發布於 2026 年 10 月 3 日,標題為“Yes bots we get it, Strata is good now please stop”,正文未提供 Strata 的具體功能、效能或價格資訊。

r/LocalLLaMA top of the day10/3 04:12AI 評分61

Strata 搭配 Qwen3.8 Next 讓慢記憶體跑出 45-70t/s

有使用者用 Strata 加 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 加 7900XTX 的慢速記憶體機器上穩定跑到 45-70t/s,編碼時偶爾更高;同樣配置下調優後的 llama.cpp 最高只有約 22.5t/s。12GB 和 16GB 顯示卡使用者反饋結果相近,DDR5 使用者則明顯更快。作者建議讓 LLM 按自己的硬體配置來設定,並提醒不要用 Q2 權重。

r/LocalLLaMA top of the day10/3 19:24AI 評分65

專精推理引擎興起,放棄通用性換極致效能

一批極窄用途的推理執行時正在出現,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 和 vLLM 擅長的通用性,只針對少數模型、有時甚至只針對一個硬體家族(如 Strix Halo)做最佳化。作者認為未來通用執行時負責相容性、一次性專精執行時負責最大效能將成為常態,這也有助於智慧的民主化與去中心化,並壓榨現有硬體的更多產出。