AISpot

搜尋

依意思最接近的 6 筆

The Verge AIAI 評分43

The Verge 作者開啟本地 AI 日常使用連載,權衡隱私與記憶體成本

《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗,此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行,但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家,會邊用邊寫。

r/LocalLLaMA top of the dayAI 評分27

LocalLLaMA 討論 jev 分類模型的實際使用體驗

r/LocalLLaMA 社群討論過去一週的 jev 模型熱潮是否該翻篇,並分享實際用例。有使用者用 jev 做論文證據定位和倉庫惡意行為掃描,也有使用者將其接入語音桌遊引擎,用 decider 4b 替代 Gemma 雙階段流程後延遲從 4-8 秒降至 2-3 秒。但有人實測 jev 及同類模型準確率持續低於 80%,而 Qwen 3.8 27B 達 95%、100b+ 模型達 100%。

r/LocalLLaMA top of the dayAI 評分70

llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半

llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體,把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB,262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變,僅分數因 fp32 舍入有差異;有使用者反饋解碼速度約降 10%。

Hacker News front pageAI 評分63

SCM:macOS 本地 AI 搜尋照片與影片每一幀

SCM(Screen Memories)是一款 macOS 本地優先的 AI 搜尋工具,可對任意資料夾中的照片和影片逐幀進行語義搜尋,無需帳號、雲端或上傳,推理全部在本機完成。它提供 Files、Scenes、OCR、Dialogue 和可選的本地 LLM 聊天五種搜尋模式,支援按鏡頭時間碼跳轉、Whisper 臺詞精確檢索以及 Tesseract 多語言文字識別。預設 CLIP 模型權重約 435MB,首次下載後完全離線;