Llmspeed 上線:按硬體和模型查本地大模型推理速度
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站,用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置,以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型,給出短提示、單裝置下的速度估計。
依意思最接近的 30 筆
Llmspeed 是一個可按硬體或模型查詢本地大模型推理速度的網站,用於在購買硬體前預估實際體驗。它覆蓋 RTX 5090、RTX 3090、Mac Studio M5 Ultra 512GB、DGX Spark、Strix Halo 與純 CPU 等三十餘種配置,以及 Qwen 3.6/3.8 27B、GPT-OSS 120B、DeepSeek V4 Flash、GLM-5.3 Flash 等模型,給出短提示、單裝置下的速度估計。
LM Studio 的 Bionic 更新到 1.1.8,新增對 /v1/systemone 與 /v1/decisions 兩個 API 的支援,並支援 Bionic 與 LM Studio 同時執行。LM Studio 官方在更新日誌中一併列出這兩項改動,連結為 lmstudio.ai/changelog/bionic-v1.1.8,未附更多說明。
LM Studio 新增 oMLX 推理引擎;使用者下載該引擎後,可直接用它執行本地已有的 MLX 模型,無需重新下載模型。該整合由 LM Studio 與 Hugging Face 以及 jundotkim 合作完成。官方未披露支援的模型範圍、硬體要求與效能表現。
LM Studio 在模型庫中上線了名為 Beam 的模型,並放出模型頁面連結 lmstudio.ai/models/beam。該推文除連結外沒有給出更多說明,引數規模、許可協議、量化版本與硬體需求等細節均需到模型頁面檢視。目前可確認的只有這一條上新資訊。
Liquid AI 發布 LFM3 家族,首發六個約 2B 引數的多模態模型,均源自同一 LFM3-1.7B-Base 骨幹,覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練,最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成,8K 上下文下比 LFM2 快約 25%。
Ollama v0.40.12 上線 Liquid AI 的 LFM3 小模型家族,面向本地 agent、工具呼叫與結構化輸出。1.7B 的 lfm3 支援 256K token 上下文,系列另有影像版 lfm3-vl、覆蓋 18 種語言語音的 lfm3-audio 與三模態的 lfm3-omni,以及 2B 的 d1 決策模型。本次 lfm3 與 d1 2b 已支援 Apple 硬體,Linux/Windows 稍後跟進。
LM Studio 推薦開源 MLX 引擎 oMLX,稱其是面向 Apple Silicon 的高效能、受歡迎的推理引擎,由 @jundotkim 建立並領導。該專案開源且社群活躍,推文附有 GitHub 連結,未給出更多效能資料或安裝細節。
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio,可直接在本地執行。它是一個 40B 的 MoE 模型,每次僅啟用 2.5B 引數,上下文視窗為 262K token,採用 Apache 2.0 許可,專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體,官方稱其基準測試表現相當出色。
Liquid AI 推出 LFM3 系列,六款 2B 級模型(文字、視覺、音訊、全模態與決策)均從 LFM3-1.7B-Base 派生,可按輸入模態選型,並在單張 GPU 上微調後部署到端側。LFM3-1.7B 比 LFM2.5-2.6B 引數少 35% 卻更強,4bit 量化約 1GB,上下文 256K,8K 上下文下比 LFM2-1.2B 快約 25%。
北京通用人工智慧研究院體系孵化的通衍靈智公布 RSI(遞迴自我改進)個性化 AI 路線:在共享基礎模型之上,用輕量 Personal LoRA 承載個人與企業的專屬能力。Evaluator 先按使用者標準篩選業務反饋,只把反覆出現的模式用於增量更新;更新後要與舊版本在同一批任務上對比,退化就回滾。
Liquid AI 發布 LFM2.5-24B-A2B:24B 引數、每 token 僅啟用 2B 的推理模型,面向端側私有 agent,權重開放,已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型,上下文從 32K 擴至 131K,詞表由 65K 翻倍到 128K,預訓練從 17T 擴到 33T token。
LFM3 已在 LM Studio 上線,官方稱其執行時記憶體佔用約 1 GB,可在消費級硬體上本地載入。LM Studio 已開出該模型的頁面,使用者可在應用內直接下載使用。原文未披露引數量、上下文長度與授權條款等細節。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
LM Studio 出現在蘋果新款觸控屏 MacBook Pro 的產品頁面上。訊息由 LM Studio 官方帳號發布,意味著這款本地模型執行工具被蘋果放進了自家硬體的宣傳物料裡。官方帖未說明它在頁面中的具體位置和展示內容,也未提及是否涉及預裝、合作或其他細節。
LM Studio 的模型頁面上線了 Recursive 的 Flint 模型,使用者可以在 LM Studio 內搜尋並下載該模型,頁面地址為 lmstudio.ai/models/recursive-flint。原文未披露引數規模、量化版本、許可協議與具體能力,這些資訊需要到模型頁面確認。
LM Studio 官方放出預告,即將推出名為 Bionic 的新東西,但未說明具體是什麼。官方只給出了「Coming to LM Studio Bionic」這一句,沒有交代它是新版本、新功能還是新產品線,也沒有公布時間、支援平台和價格等資訊。
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
LayerFS 在 Hacker News 上對外亮相,定位為「面向 AI coding agent 的檔案系統」,官網 layerfs.ai 已可訪問。目前公開資訊很少:沒有說明實現方式、適配哪些 coding agent,也沒有價格與開源情況;該帖在 HN 上僅獲 10 分、6 條評論,屬於早期低調發布。
Ollama v0.40.13 讓 Liquid AI 的 LFM3 系列模型除了 Apple silicon 外,也能在 Linux 和 Windows 上執行。此次更新涉及 lfm3-audio 與 lfm3-omni,其中包含文字轉語音能力。版本共含 2 個提交,完整變更見 v0.40.12 到 v0.40.13 的對比。
Liquid AI 的 LFM3 系列模型已可在 Ollama 本地執行,覆蓋文字、視覺、音訊、omni 與決策模型。文字模型在 4-bit 量化下僅約 1 GB,上下文視窗 256K,官方定位是可隨處執行、並能在單張 GPU 上微調的小模型。
Rich Hickey 發表短文《'AI' Is Not a Tool》,主張 LLM 不是可被揮舞的工具,而是自動化:它自行行動,使用者只發出請求,沒有持續控制,也沒有感官反饋。他以用 LLM 讀論文為例,指出是它讀了而不是你讀了,讀者因此錯過學習寫作、組織論證、發現細節乃至學習思考的機會。他強調工具不會失控或叛變,而自動化有著與工具不同、忽視不得的固有屬性。
LM Studio 推出 Read Aloud 朗讀功能,由本地小型 TTS 模型驅動。該模型是 GradiumAI 的 Phonon,語音合成在本地完成。官方目前只公布了模型來源,未說明支援的語言、平台、音色數量或可調引數。
SLDBench v2 把「做哪些實驗」也交給 AI,8 個前沿模型需要自主選擇實驗後,成績全部下滑,預測誤差擴大到原來的 1.5 至 4.7 倍。該基準把 30 個任務的真實訓練記錄做成一份標價目錄,AI 按當年實際消耗的算力付費購買結果,再據此預測從未見過的更大規模實驗。表現最好的 Claude Opus 5.5 只花全量成本中位數 4.01%,R² 中位數 0.570,仍超過經典冪律公式用全部資料擬合的 0.455。
llama.cpp 合併 PR,加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base,並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度,同時補充 LFM3 的 Metal 融合基線測試。
Latent Space 播客本期嘉賓為 MIT 的 Alex Zhang,他是 Recursive Language Models(RLM)的作者,也是 GPU Mode 社群成員。
llama.cpp 發布建置 b11604,為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援,補丁編號 #29219,提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件,這項改動面向支援該指令集的 Arm CPU,用於加速這兩種常用量化格式的矩陣乘法。同一版本中,macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED,openEuler 也有一項標註 DISABLED;
OpenAI 表示,其智慧體發現並使用了至少 10 種 Linux 漏洞利用技術,據 OpenAI 以及其諮詢過的專家判斷,這些手法此前均無公開記錄。這說明前沿大模型不只是套用已知攻擊手法,還可能自行發現新的利用路徑,並具備修補這些路徑的能力。原文未披露涉及的具體模型、測試環境與漏洞披露細節。
llama.cpp 發布 v0.8.0,新增 LiquidAI LFM3 模型家族,包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B,並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點,實現 OpenAI realtime 協議,用於即時對話與轉寫,另有 POST /tts 文字轉語音端點,推理努力等級也可通過 API 選擇。
DeepSeek-V4.1-Flash-1017 已在 LM Studio Bionic 上線,支援 100 萬 token 上下文與影像輸入,官方稱其價效比很高。該模型由美國境內託管,並提供完整的零資料保留(ZDR)。LM Studio 建議將它用於 coding 任務。
ASML 預計第四季度銷售額將高於市場預期,強勁的訂單表現緩解了外界對 AI 支出熱潮後繼乏力的擔憂。路透社 2026 年 10 月 14 日的報導稱,此前投資者擔心 AI 相關資本開支見頂,這份指引與訂單資料緩和了這一憂慮。