llama.cpp releasesAI 評分33
llama.cpp 發布 b11438，動態後端需顯式載入
llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。
搜尋
依意思最接近的 30 筆
NVIDIA blogAI 評分48
輝達報告：89% 電信運營商重視開源模型
輝達《State of AI in Telecommunications》報告顯示，89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製，用於自主網路、客服等關鍵負載，並把閉源模型留給價值最高的場景；輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model（由 AdaptKey 在開源電信資料集上微調），並提供基於 NeMo 的端到端微調流程。
llama.cpp releasesAI 評分41
llama.cpp b11496：SYCL 模型載入改用 pinned ring buffer
llama.cpp 發布 b11496，SYCL 後端的模型載入（bulk uploads）改為通過 pinned ring buffer 分階段上傳（PR #29608），主要影響使用 Intel SYCL 後端的使用者。
llama.cpp releasesAI 評分45
b11536: ui: Models Manager Follow-up Improvements (#30228)
llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度（context_length），資料取自 GGUF 後設資料，無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64，檔案缺失或無效時返回 0，router 列表因此可離線攜帶該欄位。
Simon WillisonAI 評分45
EmbeddingGemma 2 採用 Apache 2.0 許可
EmbeddingGemma 2 採用 Apache 2.0 許可，Hacker News 上有評論認為嵌入模型不適合閉源、僅託管的形式。原因是嵌入模型往往要計算並長期儲存成千上萬乃至數百萬條向量，廠商一旦停供該模型，使用者就得為重新計算這些向量付費。評論提到 OpenAI 曾在 2024 年 4 月表示承擔使用者用新模型重新嵌入的費用，但並非所有供應商都能如此。評論者本人不願自託管，傾向付費使用託管服務，同時保留廠商停服後自行執行開放權重版本的選項。
Hugging Face blog● 精選AI 評分78
用 ML Intern 幾天做出 6 個模型，9B 改寫器壓到 0.8B
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent，幾天內做出 6 個公開模型，其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本，可在 CPU 執行，輸出有效率 99.7%，token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本，算力成本 16 美元。
Hacker News front pageAI 評分47
六款 AI 決策模型吃豆人對戰，基準與排行榜開源
有人讓 jev 1.13、kev、clef、clef flash、GPT-6 Luna 和 Laya 六款低延遲決策模型玩吃豆人對抗機器人鬼魂，每個模型各跑 100 局，並公布了排行榜。測試倉庫已開源，任何人都能接入自己的模型加入排名。這些模型通過其創業公司 opper 執行，一局成本約 2 美分，併為所有人提供免費試用額度。讀者也能自己扮演吃豆人、由模型當鬼魂，作者稱打破 jev 的高分出乎意料地難。
X @ollama● 精選AI 評分65
@ollama: .@GoogleDeepMind EmbeddingGemma 2 is now available on Ollama.
Google DeepMind 的 EmbeddingGemma 2 已上線 Ollama，執行 ollama pull embeddinggemma-2 即可拉取。訊息由 Ollama 官方帳號在 10 月 6 日發布，官方稱該模型面向消費級裝置，並且是多模態模型。原文未披露模型體積、上下文長度與具體支援的模態等細節。
X @GoogleDeepMind● 精選AI 評分73
@GoogleDeepMind: Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.
Google DeepMind 發布 EmbeddingGemma 2，稱其為首個原生多模態的端側嵌入開放模型。該模型在文字之外，把程式碼、影像、音訊與影片統一對映到同一個共享向量空間，可用於在裝置本地完成跨模態檢索與相似度計算。官方目前只給出這一定位，未公布引數規模、上下文長度、適配硬體與開源許可等細節。
r/LocalLLaMA top of the dayAI 評分75
兩臺 128GB Strix Halo 迷你主機各跑一個 300B 級 MoE 模型
Kyojin 引擎基於 ExLlamaV3 為 AMD Strix Halo（gfx1151、ROCm）打造，讓 GLM-5.3-Flash 與 MiMo-V2.6-Flash 兩個 300B 級 MoE 模型分別裝進單臺 128GB 迷你主機。實測在 Ryzen AI Max+ 395 上，GLM 預填充 580 tok/s、解碼 26-30 tok/s，MiMo 解碼最高 44 tok/s（程式碼場景）。
Hacker News front page● 精選AI 評分85
Google 發布 EmbeddingGemma 2，740M 引數開源端側多模態嵌入模型
Google DeepMind 發布 EmbeddingGemma 2，一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型，基於 Gemma 4 架構，把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化：純文字最低 270M 引數，另有 170M 視覺與 300M 音訊編碼器；MRL 支援把 768 維向量截斷到 128 維，本地儲存最多省 6 倍。
llama.cpp releasesAI 評分25
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
Latent Space● 精選AI 評分90
Reflection 發布 501B-A23B 開源 MoE 模型 Beam，權重本月以 Apache 2.0 放出
美國初創公司 Reflection 發布開源權重模型 Beam：501B 總引數、23B 啟用的文字 MoE，面向 coding、agentic 與科研任務，Apache 2.0 全權重本月放出。官方稱預訓練用了 23.8T token，在約 10500 張 GB300 上各跑四周預訓練與 RL，SWE-bench Verified 得分 80.9，推理效率為 GLM 5.2 的 3 到 4 倍。
Hacker News front pageAI 評分73
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
X @ollamaAI 評分42
@ollama: @GoogleDeepMind Model page:
Ollama 模型庫新增 Google DeepMind 的 embeddinggemma-2 頁面，地址為 ollama.com/library/embeddinggemma-2，使用者可通過 Ollama 拉取該嵌入模型。該條目由 Ollama 官方帳號發布，指向 Google DeepMind 的這一模型。原文未給出模型規模、上下文長度、許可證或效能資料等細節。
r/LocalLLaMA top of the dayAI 評分71
Hugging Face 發布多 harness RL 訓練指南
Hugging Face 後訓練團隊發布了一份多 harness 強化學習指南，介紹如何用 TRL 和 Harbor 等開源庫在不同 coding harness 中訓練開放模型。團隊稱，針對當前各人自建 harness（如 Pi 加擴充套件）的現狀，該方案給出了用任意開放模型在自訂 harness 上取得最佳效能的配方。指南已發布在 Hugging Face Spaces 上，作者歡迎反饋。
TechCrunch AI● 精選AI 評分86
Reflection 發布開源權重模型 Beam，對標中國開源模型
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam，稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型，總引數 5010 億、啟用 230 億，預訓練用了 23.8 萬億 token，上下文視窗 100 萬 token；對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。
Google DeepMind blog● 精選AI 評分85
Google 發布 740M 引數開源多模態嵌入模型 EmbeddingGemma 2
Google DeepMind 發布 EmbeddingGemma 2，一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型，可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構，可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器，並用 MRL 把輸出向量從 768 維截斷到 128 維，本地向量庫儲存最多省 6 倍。
Hacker News front page● 精選AI 評分85
Aleph Alpha 發布開源主權模型 Kolibri，78B 引數 Apache 2.0
德國 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri，Apache 2.0 許可，權重已上 Hugging Face。它採用 MoE 架構，總引數 78.1B，每 token 僅啟用 3.46B，支援德語和英語，原生上下文 262,144 token，知識截止 2026 年 6 月 18 日。模型在德國和芬蘭基礎設施上從零訓練，使用 768 塊 NVIDIA B200，訓練約 24 萬億 token，其中德語佔比超五分之一。
TechCrunch AI● 精選AI 評分90
Mistral 發布 1T 引數多模態模型 Mistral Large 4
法國 AI 實驗室 Mistral 於週二發布 1 萬億引數多模態模型 Mistral Large 4（ML4），暱稱 Le Chonk。它暫不是開放權重模型，只能通過公開的 guardrail 端點訪問，Mistral 計劃三週內完成安全測試後放出權重。該模型全程用自家算力訓練，僅 4000 塊 Nvidia GPU，官方稱比中國競爭對手少兩到三倍。基準結果未公布，最佳化場景包括網路安全、金融和晶片設計；三星上月以 210 億歐元估值領投其 D 輪。
X @GoogleDeepMind● 精選AI 評分80
@GoogleDeepMind: At 740M parameters, it’s competitive across benchmarks – even outperforming some specialist models …
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。
Hacker News front page● 精選AI 評分78
Google 發布 EmbeddingGemma 2，統一五種模態嵌入
Google 發布 EmbeddingGemma 2，一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器，面向端側場景最佳化；藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度，上下文視窗 8K，是純文字版 EmbeddingGemma 的 4 倍，並以 Apache 2.0 許可開放商用。
llama.cpp releasesAI 評分29
llama.cpp 發布 b11386，為路徑轉換準備 load_from_models_dir()
llama.cpp 發布 b11386 版本，提交內容是為路徑轉換準備 load_from_models_dir()，屬於 fs::path 現代化系列的一部分，並藉此機會移除了 fs_list()。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置產物，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
Hacker News front page● 精選AI 評分88
Reflection 發布首個開放權重模型 Beam：501B 總引數、23B 啟用
Reflection 發布首個開放權重模型 Beam：稀疏 MoE，總引數 501B、啟用 23B，面向程式設計、推理與 agentic 負載。預訓練使用 23.8 萬億 token，RL 階段動用 10.5K 塊 NVIDIA GB300 訓練 4 周、生成超 1 億條 rollout、約 13 億個沙箱，官方稱是開放實驗室中規模最大的 RL 訓練之一。評測中其與 GLM 5.2 相當但推理算力少 3–4 倍，接近 Qwen 3.8-Max，原始能力仍落後 Kimi K3；
X @ggerganov● 精選AI 評分80
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
r/LocalLLaMA top of the day● 精選AI 評分80
Aleph Alpha 發布 Kolibri-1：78B 引數 MoE 開源模型，Apache 2.0
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1，總引數 78B、啟用 3.46B，支援最高 100 萬 token 上下文，採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練（約 62.5% 英語、23.9% 德語、13.6% 程式碼），在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B，適合 96GB 視訊記憶體本地部署，但目前尚無量化版本。
Claude Platform release notes● 精選AI 評分61
Models API 新增 capabilities.server_tools 欄位
Models API 新增 capabilities.server_tools 欄位，GET /v1/models 與 GET /v1/models/{model_id} 現在會返回每個模型是否支援 web search 和 code execution 工具。要確認某個模型是否接受 code execution 工具，讀取 capabilities.server_tools.code_execution；
llama.cpp releasesAI 評分46
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
機器之心● 精選AI 評分78
7B 審計模型 AgentForesight 上線，多智慧體任務失敗前預警
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight，用 7B 模型在任務執行中逐步讀取軌跡字首，在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上，其關鍵錯誤步驟識別 Exact-F1 達 66.44，比最強通用基線 DeepSeek-V4-Pro 高 19.88 分，成功軌跡誤報率僅 2.37%。
Claude Platform release notesAI 評分52
Models API 新增欄位，可查詢模型能否關閉 thinking
Models API 新增 capabilities.thinking.types.disabled 欄位，用來標明某個模型是否接受 thinking: {type: "disabled"} 來關閉思考。GET /v1/models 與 GET /v1/models/{model_id} 現在都會返回這項能力資訊，開發者可在發起請求前先確認哪些模型支援關掉思考，不必等呼叫失敗。具體用法見官方 Using the Models API 文件。