依意思最接近的 30 筆
Word2Vec 的作者 Tomáš Mikolov 於 10 月 28 日在布拉格城堡獲捷克總統授予功績勳章，表彰他在科學領域的貢獻。Mikolov 畢業於布林諾理工大學資訊科技學院，因提出把詞表示為數學向量、從而捕捉詞義關係的 Word2Vec 方法而知名，該方法成為現代語言模型的重要基礎之一。他同時通過自己的公司 BottleCap AI 研發更高效的語言模型。同場獲獎的還有急救應用 Záchranka 的開發者 Filip Maleňák，他因在技術領域的貢獻而獲獎。
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下，把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表，已用於其葡萄牙語作文批改系統：基於 Qwen3-4B，原詞表 151,669 項，只服務單一語言與固定 JSON 輸出格式。
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。
llama.cpp 發布 b11793 建置，核心改動是最佳化詞表（vocabulary）載入（PR #30679）。同一批提交還更新了 src/unicode.h、在 gguf_kv_to_str 中預分配記憶體並修復行尾空格。
有使用者在討論區提問，為什麼嵌入模型常選擇 1536 維，而非 1024 或 2048。提問者已理解 64/128/256/512 等硬體友好倍數的意義，但好奇 1536=3×512 這一具體選擇的原因。OpenAI 曾使用 1536 維嵌入，其他廠商也提供或推薦該維度。提問者想知道這是 1024 與 2048 之間經驗性的折中點，還是存在架構或硬體上的特殊便利，並希望有實際訓練或設計嵌入模型的人回答。
作者用 Qwen2.5-Coder-0.5B 微調出 360M 引數模型 WorldTUI，它背後沒有 shell 和檔案系統，只根據每次按鍵預測終端螢幕變化，能建立檔案、執行 vim 與 tmux、玩貪吃蛇。訓練資料由 Docker 中錄製的真實終端會話合成，共 33.6 萬段、約 20 億 token，其中 35% 的會話從任務中途開始；推理使用僅 333 個 token 的小詞表，COPY 行操作把滾動重繪從約 3000 token 降到每行 3 個。
Google DeepMind 的 EmbeddingGemma 2 已上線 Ollama，執行 ollama pull embeddinggemma-2 即可拉取。訊息由 Ollama 官方帳號在 10 月 6 日發布，官方稱該模型面向消費級裝置，並且是多模態模型。原文未披露模型體積、上下文長度與具體支援的模態等細節。
EmbeddingGemma 2 是一個 740M 引數的開源權重多模態模型，把文字、影像、影片與音訊對映到統一向量空間，面向隱私優先的端側檢索。開發者可用 MediaPipe Tasks 跨平台整合，或通過 LiteRT 在 CPU、GPU、NPU 上做細粒度效能最佳化。模型支援邊輸入邊搜的媒體檢索、影片關鍵幀定位與零樣本意圖路由等超低延遲本地場景。
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam，稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型，總引數 5010 億、啟用 230 億，預訓練用了 23.8 萬億 token，上下文視窗 100 萬 token；對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
Cloudflare 在生日周宣布，將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI，現已開放訪問申請。EuroLLM 覆蓋 35 種語言，含全部 24 種歐盟官方語言；Apertus 由瑞士 ETH Zurich、EPFL 等開發，訓練資料超 15 萬億 token、覆蓋 1500 多種語言，權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊，首場 10 月在新加坡舉行。
Meta 發布 Muse Spark Open，這是 816B 總參、42B 啟用的 MoE 開放權重模型，支援 1M token 上下文，可輸入文字、影像、影片與音訊。上線價格為每百萬輸入/輸出 token $1.25/$4.25（快取輸入 $0.15），Together 免費端點開放至 10 月 18 日。
開發者用 11 個月業餘時間從零訓練了二戰主題小語言模型 Peacebell，並開源訓練材料與權重，提供 291M 和 148M 兩個引數版本。訓練資料全部為自建合成資料，基於維基百科等許可材料，作者稱大部分精力花在資料整理與平衡上。291M 版本可在 HuggingFace 免費試用，無需 GPU 即可本地執行，但作者提醒這是初版，長上下文表現較差。同時發布了 WWII 主題基準與排行榜，下一版預計 2027 年發布。
Strands Labs 開源了 2B 引數的決策模型 Strands Decider 2B，權重已上 Hugging Face，訓練資料與指令碼一併公開。它基於 Qwen3.5-2B 去掉 LM head、換成約百萬引數的 pointer head 並加 rank-16 LoRA 微調，只能從給定選項中作答或打分，因此不支援編碼、聊天與摘要。
德國 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri，Apache 2.0 許可，權重已上 Hugging Face。它採用 MoE 架構，總引數 78.1B，每 token 僅啟用 3.46B，支援德語和英語，原生上下文 262,144 token，知識截止 2026 年 6 月 18 日。模型在德國和芬蘭基礎設施上從零訓練，使用 768 塊 NVIDIA B200，訓練約 24 萬億 token，其中德語佔比超五分之一。
輝達發布免費開源權重語音轉寫模型 Nemotron 3.5 Transcribe，支援最多 40 種語言，可處理長達一小時的錄音、區分最多 8 位說話人，並能在 31 種語言與英語之間互譯。該模型為 300 億引數，官方稱可執行在單顆晶片上，涵蓋 Jetson AGX Thor、DGX Spark 與 Blackwell 資料中心晶片；同期還發布了開源語音資料集 Granary 第二版。主要限制是只能處理已錄製音訊，不支援即時直播流。
Ollama 模型庫新增 Google DeepMind 的 embeddinggemma-2 頁面，地址為 ollama.com/library/embeddinggemma-2，使用者可通過 Ollama 拉取該嵌入模型。該條目由 Ollama 官方帳號發布，指向 Google DeepMind 的這一模型。原文未給出模型規模、上下文長度、許可證或效能資料等細節。
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型，無依賴、在 CPU 上執行，與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語，單次最多處理 30 秒 16 kHz 單聲道音訊，可自動檢測語種，並輸出逐詞時間戳與語音嵌入。
輝達發布開放權重模型 Nemotron 3.5 Transcribe，用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答，已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分，可處理最長 1 小時錄音、標註最多 8 位說話人，並支援用自然語言提示控制輸出格式與專業術語。
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1，約 2.8 萬億 token，覆蓋印度憲法列出的 22 種語言，即將開源，同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token（按 Gemma-4 分詞器計），共 34 種語言—文字組合，其中 12 種語言另有羅馬化文字。
浙江大學、復旦大學、螞蟻集團與南京大學團隊推出 WorldMemBench，用可控的“離開—回訪”鏡頭評測影片世界模型的記憶。基準含 260 個案例、23 個內容類別，分靜態記憶、動態記憶及影片品質、相機跟隨四個維度，測試了 HY-WorldPlay、LingBot-World 等九個模型。結果顯示靜態與動態記憶的強項分化：HY-WorldPlay 七項靜態指標全部領先，LingBot-World 動態記憶總分最高；
UBC 與 Vector Institute 的語音克隆魯棒性基準 RVCBench 被 NeurIPS 2026 接收，用 18 項評測、10 類任務、14,370 個樣本檢驗 18 個開源模型。評測覆蓋噪聲參考、異常與詐騙文字、分鐘級長文字、中英跨語言、AAC/MP3/Opus 壓縮與窄帶電話傳輸，以及 SafeSpeech 等防克隆對抗擾動。結果顯示噪聲參考下 WER 平均惡化 265.6%，長文字普遍退化；
Meta 發布開源權重模型 Muse Spark Open，擁有 8160 億引數和 100 萬 token 上下文視窗，原生多模態，面向複雜編碼與 agent 任務，並針對 Mac 本地執行設計。本地部署門檻不低，至少需要 1TB 記憶體，Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。
LiquidAI 發布 LFM2.5-Encoder 系列，含 250M 與 350M 兩個版本，基於 LFM2 架構的雙向掩碼語言模型，支援 15 種語言、8k 上下文，可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT，CPU 長上下文有優勢，並可在瀏覽器 WebGPU 上執行；GGUF 權重已上傳 Hugging Face，llama.cpp 已提交對應支援 PR。