llama.cpp releasesAI 評分45
llama.cpp b11559：OpenCL 後端為 Gemma-4 E2B/E4B 開啟 GPU 解碼
llama.cpp 建置 b11559 為 Gemma-4 啟用 E4B 的 GPU 解碼，並把該支援擴充套件到 E2B，OpenCL 後端不再只覆蓋部分型號。該版本還允許 Gemma-4 使用 DK512，最佳化 DK64 GQA8 與 DK128 GQA4 解碼，並改進 flash attention。
搜尋
找到 14 筆
llama.cpp releasesAI 評分41
llama.cpp b11537 修復 Gemma 4 embedding 並改進建置邏輯
llama.cpp 發布 b11537，重點是修復 Gemma 4 的 embedding 相關問題、改進輸入 embedding 的建置邏輯。該版本在 graph 中重排了 embeddings 使用的 get_rows，修好 raw embeddings 路徑，在 Gemma 4 的 embedding 路徑中避免 ple cast，併為 LoRA 留下 TODO。
MLX LM releasesAI 評分56
MLX 發布 v0.31.2，新增 Gemma 4 支援與快取最佳化
MLX 發布 v0.31.2，新增 Gemma 4 模型支援及其工具呼叫解析器，並加入 Nemotron super 支援。本次更新為非可裁剪快取引入系統提示與使用者訊息快取，重構批次生成器，修復推測解碼輸出損壞、GatedDeltaNet 快取記憶體洩漏等問題，同時新增伺服器 --allowed-origins 引數。
Google DeepMind blog● 精選AI 評分85
Google 發布 740M 引數開源多模態嵌入模型 EmbeddingGemma 2
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Hacker News front page● 精選AI 評分85
Google 發布 EmbeddingGemma 2，740M 引數開源端側多模態嵌入模型
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
llama.cpp releases● 精選AI 評分68
llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
LM Studio blog● 精選AI 評分88
Meta 開源 30B 模型 Muse Glimmer，LM Studio 首發支援
Meta 發布 30B 開源模型 Muse Glimmer，採用 Apache 2.0 許可，發布當天即可在 LM Studio Bionic 中下載並本地執行。該模型面向本地 agent 工作流，支援多步任務、工具呼叫與影像輸入，可在 Mac 和 PC 上執行。在 LM Studio 內部評測 BionicBench v0.1 的 18 項任務中完成率 83.3%，高於 Gemma 4 31B 與 Qwen 3.6 27B 的 77.7%。
llama.cpp releases● 精選AI 評分70
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
X @GoogleDeepMind● 精選AI 評分80
@GoogleDeepMind: At 740M parameters, it’s competitive across benchmarks – even outperforming some specialist models …
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。
Ollama releasesAI 評分50
v0.34.4
LM Studio 發布 v0.34.4，思考模型的結構化輸出改為單次處理，速度與可靠性提升。該版本修復了本地模型庫較大時偶發的 model not found 錯誤，以及 macOS 應用在檢測 ChatGPT 或 Codex 是否執行時無回應的問題。Apple Silicon 上 Qwen 3.8 提示處理更快，Gemma 4 會按圖選擇最佳解析度以保留高解析度細節，同時更新了 llama.cpp、MLX 與 XGrammar。
Google Developers blog● 精選AI 評分69
Google Antigravity SDK 新增本地 AI 模型支援
Google Antigravity SDK 現已支援在本地執行離線 agentic 工作流，可通過 LiteRT 呼叫 Gemma 4 26B A4B 等模型。該更新支援混合編排架構，由雲端模型擔任輕量規劃器，本地模型在裝置上處理程式碼審計與修補等高 token 消耗任務。SDK 還直接相容 Ollama、vLLM 等 OpenAI 相容推理伺服器，便於建置隱私優先的本地自主工具。
Hacker News front pageAI 評分75
研究：LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；
r/LocalLLaMA top of the dayAI 評分50
Anyworld：本地 LLM 當 DM 的自託管多人文字 RPG
Anyworld 是一款瀏覽器端多人文字冒險遊戲，由房主用 llama.cpp 本地跑模型充當 DM，也支援 OpenAI 等雲 API，玩家只需開啟連結即可加入。行動結果由 Python 真實擲骰決定，模型只負責敘述；支援自訂劇本、隱藏劇情觸發、場外聊天和斷線重連。開發時用 Gemma 4-26B-A4B Q4、128k 上下文，在 RTX 5070 Ti 16GB 上每輪結算約 5 秒。
TechCrunch AI● 精選AI 評分78
Google 推出離線會議筆記應用 AI Edge Foresight
Google 發布 Google AI Edge Foresight，一款可在 Mac 上完全離線執行的 AI 會議筆記應用，對標 Granola。它用端側 7.4 億引數的 EmbeddingGemma 2 記錄跨應用及線下會議，採用分屏佈局：一側手寫速記、一側生成 AI 筆記，可檢視轉錄原文，或與 Gemma 4 驅動的助手對話。使用者還能上傳 PDF、Google Docs、Office 文件、純文字、Markdown 與網頁書籤搭建知識庫，會議中即時回答相關問題。