LocalLLaMA 討論 jev 分類模型的實際使用體驗
r/LocalLLaMA 使用者分享 jev 系列分類模型(classifier)的真實用例:有人用 jev-reviewer 定位論文證據、避免引用幻覺,有人用 is-malicious 掃描 GitHub 倉庫與 PR 的惡意行為,還有人用 decider 4b 替代 Gemma 雙階段流程,把語音 RPG 延遲從 4-8 秒降到 2-3 秒。
原標題:So... Should we turn the page on this past week hype? or Do you have any success cases to inspire the rest?
閱讀原文
| 評分 | 30 / 45(平均 37,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
Jeffy 發布 13 個本地預訓練分類器,無需 GPU
Jeffy 是一個本地執行的簡單分類器集合,無需 GPU,在普通電腦上即可使用,自帶 13 個已訓練好的分類器,覆蓋垃圾郵件檢測、意圖路由、主題分類、情感分析,甚至能玩 Doom。使用者還可以用它訓練自己的分類器,作者表示這種架構上還能搭建更多應用,並希望瞭解大家覺得哪些任務有用、類似任務用什麼架構。
llama.cpp 上線 Decision 模型與 /v1/systemone 端點
llama.cpp 最新建置已支援 Decision 模型,新增 /v1/systemone 端點,可在本地高效、私密地做 Jev 風格推理。該端點支援多個開源模型,後續還會增加。
LocalLLaMA 網友曬本地跑模型硬體方案
r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平,評論區隨即給出多種低成本方案:2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s;雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文;CMP 170HX 視訊記憶體超頻可達 2TB/s,單流解碼約 60 tok/s。
llama.cpp 新增 clef 決策模型支援(純文字)
llama.cpp 合併 PR #29831,為 clef 決策模型加入純文字推理支援,並更新 gguf-py 常量。該版本覆蓋 macOS Apple Silicon、Linux、Windows、Android 等平台,其中 Apple Silicon 的 KleidiAI 加速建置被停用。
Jev 估值 100 億美元,創始人稱日處理破萬億 token
TypeSafe AI 聯合創始人兼 CEO Diogo Almeida 在 Latent Space 訪談中透露,Jev 日處理量已突破一萬億 token,且夜間流量持續走高,說明大量呼叫來自機器自動化。他稱 Jev 發布影片 6 天瀏覽量達 3870 萬,在 JevBench v1.2.1 綜合榜以 75.3 分排名第一,公司估值 100 億美元。他強調可靠性比速度和成本更重要,並稱即便給十億美元也不會從零預訓練大模型。