AISpot

LocalLLaMA 討論 jev 分類模型的實際使用體驗

r/LocalLLaMA top of the day10/3 00:18社群討論地端推論開源開發工具

r/LocalLLaMA 使用者分享 jev 系列分類模型(classifier)的真實用例:有人用 jev-reviewer 定位論文證據、避免引用幻覺,有人用 is-malicious 掃描 GitHub 倉庫與 PR 的惡意行為,還有人用 decider 4b 替代 Gemma 雙階段流程,把語音 RPG 延遲從 4-8 秒降到 2-3 秒。

原標題:So... Should we turn the page on this past week hype? or Do you have any success cases to inspire the rest?
閱讀原文

評分30 / 45(平均 37,門檻 76)
狀態未入選

相關報導

Hacker News front page10/3 21:19AI 評分41

Jeffy 發布 13 個本地預訓練分類器,無需 GPU

Jeffy 是一個本地執行的簡單分類器集合,無需 GPU,在普通電腦上即可使用,自帶 13 個已訓練好的分類器,覆蓋垃圾郵件檢測、意圖路由、主題分類、情感分析,甚至能玩 Doom。使用者還可以用它訓練自己的分類器,作者表示這種架構上還能搭建更多應用,並希望瞭解大家覺得哪些任務有用、類似任務用什麼架構。

r/LocalLLaMA top of the day10/3 02:58AI 評分32

LocalLLaMA 網友曬本地跑模型硬體方案

r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平,評論區隨即給出多種低成本方案:2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s;雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文;CMP 170HX 視訊記憶體超頻可達 2TB/s,單流解碼約 60 tok/s。

量子位10/3 03:38AI 評分29

Jev 估值 100 億美元,創始人稱日處理破萬億 token

TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露,Jev 日處理量已突破一萬億 token,且夜間流量持續走高,說明大量呼叫來自機器自動化。他稱 Jev 發布影片 6 天瀏覽量達 3870 萬,在 JevBench v1.2.1 綜合榜以 75.3 分排名第一,公司估值 100 億美元。他強調可靠性比速度和成本更重要,並稱即便給十億美元也不會從零預訓練大模型。