10 月 6 日，Google DeepMind 發布 EmbeddingGemma 2，官方稱其為首個原生多模態的端側嵌入開放模型。該模型為 740M 引數，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到統一的 768 維向量空間，以 Apache 2.0 許可開源，權重已上線 Hugging F… 看完整事件
EmbeddingGemma 2 開源多模態嵌入模型，768 維統一空間
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
給出了模組化模態編碼器的引數區間與 128 維截斷能力，為多模態檢索中視訊記憶體佔用與向量庫儲存的取捨提供了可量化的參考，做本地部署與 RAG 的開發者可直接據此估算成本。
原標題：EmbeddingGemma 2: The Developer Guide
閱讀原文
| 評分 | 80 / 62（平均 71，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
為什麼嵌入模型常用 1536 維？
有使用者在討論區提問，為什麼嵌入模型常選擇 1536 維，而非 1024 或 2048。提問者已理解 64/128/256/512 等硬體友好倍數的意義，但好奇 1536=3×512 這一具體選擇的原因。OpenAI 曾使用 1536 維嵌入，其他廠商也提供或推薦該維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點，還是存在架構或硬體上的特殊便利，並希望有實際訓練或設計嵌入模型的人回答。
llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支，後端改為只從計算節點建置 OV 模型，並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分，修復了 CPU 與 GPU 上首個單 token decode 失敗；
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。