llama.cpp 為 Mellum2.1 與 Mellum 加入 MTP 支援
llama.cpp 建置 b11695 為 Mellum2.1 和 Mellum 加入 MTP(多 token 預測)支援,並把 Mellum 的 rope 構造改為內聯方式。
依意思最接近的 16 筆
llama.cpp 建置 b11695 為 Mellum2.1 和 Mellum 加入 MTP(多 token 預測)支援,並把 Mellum 的 rope 構造改為內聯方式。
llama.cpp 發布新建置 b11681,為 MELLUM 架構加入精度處理(PR #30584)。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。
AI 創意平台 Melius 宣布累計融資 2500 萬美元,其中 CRV 領投 2000 萬美元 A 輪,General Catalyst 領投 500 萬美元種子輪。這家紐約公司由三名前 Ramp 工程師創辦,最初做廣告投放管理最佳化工具,做了半年多後認定方向走不通,推翻並重寫全部程式碼,轉向生成廣告創意素材與營銷活動的 agents lab。公司稱 7 月結束隱身狀態後兩個月內年化收入已超 100 萬美元,同賽道還有 Higgsfield、Krea、Flora AI。
Google DeepMind 的 EmbeddingGemma 2 已上線 Ollama,執行 ollama pull embeddinggemma-2 即可拉取。訊息由 Ollama 官方帳號在 10 月 6 日發布,官方稱該模型面向消費級裝置,並且是多模態模型。原文未披露模型體積、上下文長度與具體支援的模態等細節。
llama.cpp 建置 b11524 把 mp_21 從 MUSA 後端的預設架構列表中移除(PR #30203)。該提交由 mthreads.com 的 Xiaodong Ye 署名,並經過多輪 review 意見修改;
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。
AI 3D 生成公司 Meshy 披露,其 ARR 從 100 萬美元增長至 1 億美元,用時不到兩年,比 HeyGen 的 29 個月更快。Meshy 7 在自建幾何對齊基準中造型比例、空間分佈、表面細節三項指標領先受測模型,7.1 將幾何生成解析度從 2048³ 提升至 4096³。三七互娛已將其接入生產流程,基礎模型階段雕刻工作量減少 30% 至 40%。
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。可用模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已登陸 MLX,官方稱會繼續測試並啟用更多模型。
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援,由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face,可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行,無需等待社群自行轉換。
llama.cpp 發布建置 b11604,為 KleidiAI 加入 SME2 指令集的 Q4_K 與 Q6_K 矩陣乘支援,補丁編號 #29219,提交者來自 Arm。SME2 屬於 Armv9 的矩陣擴充套件,這項改動面向支援該指令集的 Arm CPU,用於加速這兩種常用量化格式的矩陣乘法。同一版本中,macOS Apple Silicon 的 KleidiAI 啟用建置被標記為 DISABLED,openEuler 也有一項標註 DISABLED;
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構將自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8;預發布期間會繼續測試並啟用更多模型。
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。
Google DeepMind 正式發布 Nano Banana 2.1,底層由 Gemini 3.6 Flash 驅動,模型 ID 為 gemini-nano-banana-2.1,已作為穩定模型上線 Gemini App、AI Studio、Gemini API、Search AI Mode、Google Ads、Flow 與 Stitch。新版定位高效率影像生成與對話式編輯,支援 1K/2K/4K 輸出、最多 14 張參考圖融合,重點強化設計版式、蒙版區域性編輯和主體一致性;
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元(#29245),面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物,覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
Ollama 發布 v0.40.0:在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。本次納入 MLX 的模型包括 qwen3.8、gemma4、qwen3.6、qwen3.5,決策模型 Nimble、tev1、clef、clef-flash 也已支援。可用 ollama pull / run qwen3.8 拉取與執行,官方稱將繼續啟用更多模型。