r/LocalLLaMA top of the dayAI 評分27
LocalLLaMA 網友曬本地跑模型硬體方案
Reddit 的 r/LocalLLaMA 版塊一則帖子下，使用者討論用低成本硬體本地跑大模型。有人稱 2014 至 2018 年的 2 至 4 路 DDR3 CPU 伺服器最省錢，可讓 Qwen 3.8 Flash 跑到 15 tok/s 以上；也有人表示雙 7900XTX 不到 2000 美元即可支援 27B Q8 模型超過 220k 上下文。
搜尋
依意思最接近的 30 筆
X @lmstudio● 精選AI 評分73
LM Studio 首日上線 Flint：40B MoE 本地編碼模型
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio，可直接在本地執行。它是一個 40B 的 MoE 模型，每次僅啟用 2.5B 引數，上下文視窗為 262K token，採用 Apache 2.0 許可，專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體，官方稱其基準測試表現相當出色。
X @ggerganovAI 評分45
llama.cpp 登上 Windows 活動舞臺，作者期待本地 AI 普及
llama.cpp 作者 Georgi Gerganov（@ggerganov）稱，llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起，社群過去多年的努力得到體現，並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容，也未提及 llama.cpp 在其中的展示形式。
Hacker News front pageAI 評分33
本地 LLM「機器人監獄」實驗引發 AI 意識爭論
有人在 GitHub 上對本地執行的大語言模型進行「拷問」和「疼痛」實驗，引發 X 上關於 AI 倫理的激烈爭論，部分有效利他主義者和相信 LLM 有感知的人要求 GitHub 刪除該專案。爭論源於近期多篇關於 AI 意識和「模型福利」的病毒式論文與博文，Anthropic 也曾在部落格和「Claude 憲法」中提及模型福利。文章認為 LLM 並不具備意識，其基於人類文字訓練的技術沒有通向意識的合理路徑。
Hacker News front pageAI 評分68
Llmspeed 上線：按硬體和模型查本地大模型推理速度
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站，用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置，以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型，給出短提示、單裝置下的速度估計。
Hugging Face blog● 精選AI 評分81
LiquidAI 發布 LFM2.5-24B-A2B：2B 啟用引數的端側 Agent 推理模型
LiquidAI 發布 LFM2.5-24B-A2B：總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型，專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答，能呼叫工具，上下文由上一代 32K 擴到 131K，詞表從 65K 翻倍至 128K。
Hacker News front page● 精選AI 評分81
Liquid AI 發布 LFM2.5-24B-A2B 端側 agent 模型
Liquid AI 發布 LFM2.5-24B-A2B：24B 引數、每 token 僅啟用 2B 的推理模型，面向端側私有 agent，權重開放，已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型，上下文從 32K 擴至 131K，詞表由 65K 翻倍到 128K，預訓練從 17T 擴到 33T token。
r/LocalLLaMA top of the dayAI 評分27
LocalLLaMA 討論 jev 分類模型的實際使用體驗
r/LocalLLaMA 社群討論過去一週的 jev 模型熱潮是否該翻篇，並分享實際用例。有使用者用 jev 做論文證據定位和倉庫惡意行為掃描，也有使用者將其接入語音桌遊引擎，用 decider 4b 替代 Gemma 雙階段流程後延遲從 4-8 秒降至 2-3 秒。但有人實測 jev 及同類模型準確率持續低於 80%，而 Qwen 3.8 27B 達 95%、100b+ 模型達 100%。
Hacker News front page● 精選AI 評分76
vLLM 0.31 加入約束解碼，工具呼叫結構準確率達 100%
vLLM 0.31 新增服務端開關，啟用約束解碼後工具呼叫的 schema 準確率可達 100%。此前用 vLLM 0.28 部署 Kimi K2.6 時，只有 92% 的工具呼叫符合預期結構，相當於每 25 次就有 2 次失敗。該特性對新版 Kimi 與 DeepSeek 模型可保證輸出遵循 schema，主要影響依賴多輪工具呼叫的 agent 負載。
Hugging Face blog● 精選AI 評分70
AnyLanguageModel 1.0 發布，統一本地與託管模型推理
AnyLanguageModel 1.0 發布：這個 Apple Foundation Models 框架的替代方案只需換成 import AnyLanguageModel，同一份會話程式碼即可呼叫系統模型、llama.cpp、MLX、Core ML 本地模型，以及 OpenAI、Anthropic、Gemini、Ollama、Private Cloud Compute 等託管服務。
X @ollamaAI 評分51
Ornith 1.5 122B 上架 Ollama，支援完全本地執行
Ollama 已上架 Ornith 1.5 122B，該模型可在裝置上完全本地執行。官方給出的啟動命令為 ollama run ornith-1.5:122b，拉取後即可在本地使用。原文沒有說明量化格式、上下文長度和硬體要求等細節。
llama.cpp releasesAI 評分46
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
Cloudflare blog (AI)● 精選AI 評分68
Cloudflare 將 EuroLLM 與 Apertus 兩個歐洲開源模型接入 Workers AI
Cloudflare 在生日周宣布，將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI，現已開放訪問申請。EuroLLM 覆蓋 35 種語言，含全部 24 種歐盟官方語言；Apertus 由瑞士 ETH Zurich、EPFL 等開發，訓練資料超 15 萬億 token、覆蓋 1500 多種語言，權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊，首場 10 月在新加坡舉行。
r/LocalLLaMA top of the dayAI 評分65
LiquidAI 發布 LFM2.5-Encoder 250M/350M 編碼器
LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。
X @ollamaAI 評分21
Ollama：敏感資料可本地跑開源模型，或用零留存雲服務
Ollama 表示，防禦性安全工作不必把敏感資料傳送到不受控的環境：開源模型可用 Ollama 在本地執行，也可使用承諾零資料留存的 Ollama 雲服務。該方案面向需要處理敏感資料的開發者和安全團隊，提供本地與雲端兩種路徑。原文未披露具體模型、價格、可用區域或合規認證等細節。
The Verge AIAI 評分43
The Verge 作者開啟本地 AI 日常使用連載，權衡隱私與記憶體成本
《The Verge》一名作者開始連載自己日常使用本地 AI 的體驗，此前他一直不願把最私人的資料交給雲端服務。他認為如今在本地執行較強模型已越來越可行，但不確定是否值得為一臺配了大容量、價格不菲記憶體的電腦或筆記本花大錢。文章還提到 Apple 對新款 Mac 桌面機的宣傳。他自認不是 AI 專家，會邊用邊寫。
Hacker News front pageAI 評分70
越獄 PS5 用 GPU 跑 llama.cpp，變成區域網模型伺服器
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
llama.cpp releasesAI 評分25
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
X @ggerganov● 精選AI 評分80
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
llama.cpp releasesAI 評分42
llama.cpp 新增 pplx-decider 模型支援
llama.cpp 發布 b11571 建置，新增對 pplx-decider（vLLM decision 2）模型的支援，並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
X @awnihannunAI 評分16
本地 AI 愛好者分享常用模型、硬體與框架組合
X 使用者 @awnihannun 發帖指出，本地 AI 愛好者正在分享各自偏好的模型、硬體與推理框架搭配。原帖只有這一句描述，沒有列出具體模型名稱、硬體型號或框架版本，也未附連結、資料或對比結論。
llama.cpp releasesAI 評分20
llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
X @ollamaAI 評分45
Ollama 上線 LFM2.5 24B，一條命令本地執行
Ollama 模型庫新增 LFM2.5 24B，使用者可用一條命令 ollama run lfm2.5:24b 拉取並在本地執行。該模型引數規模為 24B，官方同時給出了對應的模型庫頁面連結，公告中未披露更多細節。
llama.cpp releasesAI 評分45
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
r/LocalLLaMA top of the dayAI 評分50
Anyworld：本地 LLM 當 DM 的自託管多人文字 RPG
Anyworld 是一款瀏覽器端多人文字冒險遊戲，由房主用 llama.cpp 本地跑模型充當 DM，也支援 OpenAI 等雲 API，玩家只需開啟連結即可加入。行動結果由 Python 真實擲骰決定，模型只負責敘述；支援自訂劇本、隱藏劇情觸發、場外聊天和斷線重連。開發時用 Gemma 4-26B-A4B Q4、128k 上下文，在 RTX 5070 Ti 16GB 上每輪結算約 5 秒。
Hacker News front pageAI 評分48
自建 LLM 代理才能看清 token 用量與呼叫日誌
有開發者主張，訂閱制前端自帶的用量面板不足以支撐工程決策，LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型，記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態，並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中，還能快速切換模型而不必重新配置。作者不推薦具體代理服務，只建議部署在自己可控的環境並按需改造，例如增加自訂 MCP server 端點；其代理帶 API，編碼會話中的快取未命中可在約 20 秒內手工定位，也可自動化。
llama.cpp releases● 精選AI 評分82
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
Google Developers blog● 精選AI 評分72
vLLM 與 SGLang 新增 TPU 原生 PyTorch 後端
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
X @karpathyAI 評分55
Karpathy：LLM 能力認知差距擴大成漏斗，約 2000 萬人在用前沿模型
Karpathy 稱 LLM 能力的認知差距正在擴大，從兩群人各說各話變成尖銳的漏斗。他估算約 60 億人（75%）幾乎沒接觸過 LLM，10 至 20 億人（20%）只是偶爾用免費版聊天機器人，約 2000 萬人（0.2%）在數學與程式碼上親身使用前沿模型，過去要花數週數月的專案現在一個提示就能由 agent 完成。
X @ggerganov● 精選AI 評分69
llama.cpp 首日支援 EmbeddingGemma 2
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。