AISpot

搜尋

找到 4 筆;也可以試試 語意搜尋

r/LocalLLaMA top of the day10/3 00:18AI 評分37

LocalLLaMA 討論 jev 分類模型的實際使用體驗

r/LocalLLaMA 使用者分享 jev 系列分類模型(classifier)的真實用例:有人用 jev-reviewer 定位論文證據、避免引用幻覺,有人用 is-malicious 掃描 GitHub 倉庫與 PR 的惡意行為,還有人用 decider 4b 替代 Gemma 雙階段流程,把語音 RPG 延遲從 4-8 秒降到 2-3 秒。

r/LocalLLaMA top of the day10/3 02:58AI 評分32

LocalLLaMA 網友曬本地跑模型硬體方案

r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平,評論區隨即給出多種低成本方案:2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s;雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文;CMP 170HX 視訊記憶體超頻可達 2TB/s,單流解碼約 60 tok/s。

r/LocalLLaMA top of the day10/3 03:32AI 評分42

LocalLLaMA 討論 EU Kids Act 是否會被用來打壓開源權重

r/LocalLLaMA 上一則討論帖質疑歐盟 Kids Act 等立法是否會被當作特洛伊木馬,用來針對 AI 開放權重。帖中評論提到,歐盟年齡驗證將於 2027 年 1 月大規模推行,Discord 已承壓但拒絕啟用,至少拖到明年;有使用者引用官方提案稱,社媒和影片平台需在開新帳號時驗證年齡,應用商店也須提供年齡核驗工具。討論還涉及瑞士、挪威是否適用,以及布魯塞爾遊說團體密度等問題。

r/LocalLLaMA top of the day10/3 12:47AI 評分53

r/LocalLLaMA 熱議低位元量化對編碼任務的影響

r/LocalLLaMA 上一則帖子引發討論:FP8/BF16 使用者看到有人跑 IQ1_S 量化感到震驚。多位使用者指出,IQ1/IQ2 這類極端量化只適合創意寫作或閒聊,用於編碼、複雜邏輯推理或結構化 JSON 提取時困惑度飆升、語法和邏輯明顯崩壞;而 Q4_K_M 或 Q5_K_M 通常是多數模型的甜點區,困惑度曲線相對平坦、視訊記憶體佔用大幅下降且推理能力幾乎無損。