搜尋

找到 8 筆

r/LocalLLaMA top of the day10/3 15:16AI 評分21

8GB 視訊記憶體使用者期待 Qwen4 35B A3B 等本地模型

一位只有 8GB 視訊記憶體和 16GB 記憶體的使用者在社群表示，只能期待 Qwen4 35B A3B 或類似模型，並希望藉助額外 n-gram 把 35B 擴充套件到 70B 以上。在此之前，他仍偏愛 Gemma 26B QAT，稱其速度穩定在 26 Tg/s。

地端推論開源本地推理視訊記憶體 Qwen Gemma 量化

閱讀原文

r/LocalLLaMA top of the day10/3 21:06AI 評分75

TensorSharp 讓 176B MoE 模型跑在 16GB 視訊記憶體筆記本上

開源推理引擎 TensorSharp 在 RTX 3080 Laptop（16GB 視訊記憶體）、32GB 記憶體加 SSD 的普通筆記本上跑起了 Qwen3.8 Flash Next 176B，無需 128GB 以上記憶體工作站或多 GPU。它靠量化加 MoE 感知的統一排程，協調視訊記憶體、記憶體、SSD 與快取分層。

地端推論開源 MoE 本地推理量化 TensorSharp 記憶體分層

閱讀原文

llama.cpp releases● 精選10/3 12:28AI 評分72

llama.cpp 最佳化 lightning indexer 視訊記憶體與多後端支援

llama.cpp 合併了 qwen4exp 的 lightning indexer 最佳化，把索引器打分視訊記憶體減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現在每個 head 單獨計算並原地累加進一個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 heads、Metal 用函式常量傳 head 數、Vulkan 按 keys×tokens 分塊並向量化 fp16 點積。

開發工具地端推論 llama.cpp Qwen Vulkan CUDA Metal

2 個來源 · 2 則報導閱讀原文

r/LocalLLaMA top of the day● 精選10/3 07:18AI 評分79

llama.cpp 新 PR 將 Qwen 索引器視訊記憶體減半

llama.cpp 的 PR #29825 把 Qwen Flash Next 的 indexer score 視訊記憶體佔用減半，例如 131072 上下文、ub 2048 時從 3.0 GiB 降到 1.5 GiB，262144 上下文、ub 4096 時從 11.7 GiB 降到 5.6 GiB。作者稱 logits 完全一致，僅分數因 fp32 舍入有差異，pp/tg 速度不變，test-llama-archs 通過。

地端推論開源 llama.cpp Qwen VRAM 推理最佳化 PR

2 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選10/4 01:37AI 評分63

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 在 WebGPU 後端為 fill/set_rows 操作加入 f16 支援（PR #29897），併發布 b11382 版本。該版本覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 等平台，其中 macOS Apple Silicon 的 KleidiAI 建置被停用。對使用 WebGPU 推理的使用者，f16 支援可減少視訊記憶體佔用並提升相容性。

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

閱讀原文

r/LocalLLaMA top of the day10/3 02:58AI 評分32

LocalLLaMA 網友曬本地跑模型硬體方案

r/LocalLLaMA 使用者 pmarsh 發帖稱自己已接近本地推理硬體投入的中間水平，評論區隨即給出多種低成本方案：2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器可跑 qwen 3.8 flash 超 15 tok/s；雙 7900XTX 不到 2000 美元可跑 27B Q8 超 220k 上下文；CMP 170HX 視訊記憶體超頻可達 2TB/s，單流解碼約 60 tok/s。

地端推論本地推理硬體配置 GPU 量化

閱讀原文

r/LocalLLaMA top of the day10/3 12:47AI 評分53

r/LocalLLaMA 熱議低位元量化對編碼任務的影響

r/LocalLLaMA 上一則帖子引發討論：FP8/BF16 使用者看到有人跑 IQ1_S 量化感到震驚。多位使用者指出，IQ1/IQ2 這類極端量化只適合創意寫作或閒聊，用於編碼、複雜邏輯推理或結構化 JSON 提取時困惑度飆升、語法和邏輯明顯崩壞；而 Q4_K_M 或 Q5_K_M 通常是多數模型的甜點區，困惑度曲線相對平坦、視訊記憶體佔用大幅下降且推理能力幾乎無損。

地端推論開源量化 GGUF IQ1_S NVFP4 本地推理

閱讀原文

r/LocalLLaMA top of the day10/3 05:10AI 評分33

mlsubgen 本地生成 45 種語言字幕，僅支援 Linux 與 NVIDIA

mlsubgen 是一個完全在本機執行的字幕生成工具，支援 45 種語言，但僅限 Linux 和 NVIDIA 顯示卡。它按語音片段而非整檔案檢測語言，可處理混合語言素材；同時執行兩個語音識別器並由本地 LLM 調和結果，且優先使用檔案內嵌字幕（包括藍光 PGS 點陣圖字幕的 OCR），無字幕可讀時才轉錄音訊。作者在 24 GB RTX A5000 上執行，提供 16、12、8 GB 視訊記憶體配置，需 16–32 GB 系統記憶體和 30–65 GB 模型儲存；

地端推論開源字幕生成本地推理 Whisper NVIDIA 多語言

閱讀原文