找到 5 筆
Mistral AI 發布首個程式碼專用嵌入模型 Codestral Embed，主打真實程式碼資料的檢索場景，稱其表現顯著超過 Voyage Code 3、Cohere Embed v4.0 與 OpenAI 的大型嵌入模型。模型支援輸出不同維度與精度，256 維 int8 版本仍優於競品全部模型；維度按相關性排序，可擷取前 n 維以權衡品質與成本。
有使用者在討論區提問，為什麼嵌入模型常選擇 1536 維，而非 1024 或 2048。提問者已理解 64/128/256/512 等硬體友好倍數的意義，但好奇 1536=3×512 這一具體選擇的原因。OpenAI 曾使用 1536 維嵌入，其他廠商也提供或推薦該維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點，還是存在架構或硬體上的特殊便利，並希望有實際訓練或設計嵌入模型的人回答。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。