依意思最接近的 12 筆
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
Ollama 發布 v0.40.0-rc6，在 MLX runner 上實現 EmbeddingGemma2Model 架構，使本地嵌入支援多模態輸入。/api/embed 介面現在可通過 input dict 為每個條目單獨傳入媒體。該模型為 24 層雙向文字編碼器，帶 PLE，共享 gemma4 的視覺與音訊塔，輸出經 mean-pool 與 L2 歸一化。該標籤由 pdevine 於 10 月 6 日打上，對應提交 #18820，仍屬 rc 預發布版本。
EmbeddingGemma 2 是一個 740M 引數的開源權重多模態模型，把文字、影像、影片與音訊對映到統一向量空間，面向隱私優先的端側檢索。開發者可用 MediaPipe Tasks 跨平台整合，或通過 LiteRT 在 CPU、GPU、NPU 上做細粒度效能最佳化。模型支援邊輸入邊搜的媒體檢索、影片關鍵幀定位與零樣本意圖路由等超低延遲本地場景。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。
有使用者在討論區提問，為什麼嵌入模型常選擇 1536 維，而非 1024 或 2048。提問者已理解 64/128/256/512 等硬體友好倍數的意義，但好奇 1536=3×512 這一具體選擇的原因。OpenAI 曾使用 1536 維嵌入，其他廠商也提供或推薦該維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點，還是存在架構或硬體上的特殊便利，並希望有實際訓練或設計嵌入模型的人回答。
EmbeddingGemma 2 採用 Apache 2.0 許可，Hacker News 上有評論認為嵌入模型不適合閉源、僅託管的形式。原因是嵌入模型往往要計算並長期儲存成千上萬乃至數百萬條向量，廠商一旦停供該模型，使用者就得為重新計算這些向量付費。評論提到 OpenAI 曾在 2024 年 4 月表示承擔使用者用新模型重新嵌入的費用，但並非所有供應商都能如此。評論者本人不願自託管，傾向付費使用託管服務，同時保留廠商停服後自行執行開放權重版本的選項。
VA-Bench 用 14 類機器人操作任務、280 個物理驗證場景測試 12 個主流多模態模型，發現目標識別與定位可達 100%、操作語義理解接近 100%，但完整任務成功率最高的 Qwen3.8-max、Opus-5、GPT-5.6-sol 分別只有 53.93%、52.86%、51.55%。測試中模型先觀看成功示範影片，但拿不到物體座標與專家軌跡，需自行決定是否消耗步數切換視角，並直接給出移動距離、旋轉角度與夾爪開合時機。
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4（ML4），暱稱 Le Chonk。它暫不是開放權重模型，只能通過公開的 guardrail 端點訪問，Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練，僅 4000 塊 Nvidia GPU，官方稱比中國競爭對手少兩到三倍。基準結果未公布，最佳化場景包括網路安全、金融和晶片設計；三星上月以 210 億歐元估值領投其 D 輪。
llama.cpp 合併 PR #29622，在單一批次中同時支援嵌入向量（embd）和原始 token，並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type，並統一 m-rope 位置處理。