搜尋
找到 34 筆
r/LocalLLaMA top of the day● 精選AI 評分80
德國 Aleph Alpha 在 Hugging Face 發布 Kolibri-1,總引數 78B、啟用 3.46B,支援最高 100 萬 token 上下文,採用 Apache 2.0 許可。模型基於 20T token 的英德雙語語料訓練(約 62.5% 英語、23.9% 德語、13.6% 程式碼),在 768 張 B300 叢集上訓練約 4 周。社群討論認為其基準表現接近 Qwen 3.5 35B,適合 96GB 視訊記憶體本地部署,但目前尚無量化版本。
Hugging Face blog● 精選AI 評分91
美國新實驗室 Reflection 開源首個模型 Beam:501B 引數 MoE,每 token 僅啟用 23B,支援 1M token 上下文,Apache 2.0 許可,主攻編碼與 agentic 場景。首日支援 transformers、SGLang 與 vLLM,提供 BF16、FP8、NVFP4 三種 checkpoint 及自研 Rust 推理 harness,並附 SFT 與 RL 微調配方。
Hacker News front page● 精選AI 評分85
德國 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri,Apache 2.0 許可,權重已上 Hugging Face。它採用 MoE 架構,總引數 78.1B,每 token 僅啟用 3.46B,支援德語和英語,原生上下文 262,144 token,知識截止 2026 年 6 月 18 日。模型在德國和芬蘭基礎設施上從零訓練,使用 768 塊 NVIDIA B200,訓練約 24 萬億 token,其中德語佔比超五分之一。
Latent Space● 精選AI 評分90
美國初創公司 Reflection 發布開源權重模型 Beam:501B 總引數、23B 啟用的文字 MoE,面向 coding、agentic 與科研任務,Apache 2.0 全權重本月放出。官方稱預訓練用了 23.8T token,在約 10500 張 GB300 上各跑四周預訓練與 RL,SWE-bench Verified 得分 80.9,推理效率為 GLM 5.2 的 3 到 4 倍。
Simon WillisonAI 評分45
EmbeddingGemma 2 採用 Apache 2.0 許可,Hacker News 上有評論認為嵌入模型不適合閉源、僅託管的形式。原因是嵌入模型往往要計算並長期儲存成千上萬乃至數百萬條向量,廠商一旦停供該模型,使用者就得為重新計算這些向量付費。評論提到 OpenAI 曾在 2024 年 4 月表示承擔使用者用新模型重新嵌入的費用,但並非所有供應商都能如此。評論者本人不願自託管,傾向付費使用託管服務,同時保留廠商停服後自行執行開放權重版本的選項。
Ollama blog● 精選AI 評分87
Meta Superintelligence Labs 的首個開源模型 Muse Glimmer 已在 Ollama 上線,採用 Apache 2.0 許可。它是 30B 多模態模型,面向本地執行的 agent 工作負載,上下文長度 128K 以上,支援 low 到 xhigh 四檔推理強度。
Ollama releases● 精選AI 評分75
Ollama v0.40.8 加入 Recursive 的編碼模型 Flint,執行 ollama run flint 即可執行。Flint 採用 Apache 2.0 許可,是 40B 引數的混合專家(MoE)模型,每個 token 約啟用 2.5B 引數,支援推理、多輪工具呼叫與 262K token 上下文,面向跨倉庫的程式碼理解、缺陷追蹤、功能實現與補測試。
Ollama blog● 精選AI 評分79
Cloudflare 的 27B 多模態決策模型 Clef 已上線 Ollama,既可本地執行,也可使用 Ollama 雲端。它基於 Qwen3.8-27B 微調,採用 Apache 2.0 許可,接受文字、JSON 或圖片輸入,單次讀取就為所有問題同時打分,而非逐詞生成,併相容 Jev 與 System One API。官方稱其登頂 Cloudflare Decision Index,在多數基準上超過 Jev;
Claude Platform release notes● 精選AI 評分68
Anthropic 發布 API 版本 2026-10-21,並同步推出預設使用該版本的客戶端 SDK 與 ant CLI 更新。各 SDK 版本為 Python 2.0.0、TypeScript 1.0.0、C# 13.0.0、Go 2.0.0、Java 3.0.0、PHP 1.0.0、Ruby 2.0.0,ant CLI 為 2.0.0。這批 SDK 與 CLI 另含與 API 版本無關的破壞性變更,許可證也從 MIT 改為 Apache 2.0。
Hacker News front page● 精選AI 評分78
Google 發布 EmbeddingGemma 2,一個把文字、程式碼、影像、影片和音訊對映到同一嵌入空間的多模態嵌入模型。它採用 740M 引數與模組化編碼器,面向端側場景最佳化;藉助 Matryoshka 表示學習支援 768 到 128 維的靈活維度,上下文視窗 8K,是純文字版 EmbeddingGemma 的 4 倍,並以 Apache 2.0 許可開放商用。
Hugging Face blogAI 評分64
NVIDIA 發布 Kumo Forecast(原 NV-Tesseract Forecasting),一個多變數時間序列預測模型,以 Apache 2.0 許可開源,模型程式碼 NVIDIA/Kumo-TS 與權重 nvidia/Kumo-Forecast 均已公開。模型以 MOMENT-1-large 為凍結主幹,約 3.4 億引數編碼器外加可訓練預測頭,支援 256、512、1024、2048 的輸入序列長度。
Google DeepMind blog● 精選AI 評分85
Google DeepMind 發布 EmbeddingGemma 2,一個 740M 引數、Apache 2.0 許可的開源多模態嵌入模型,可把文字、程式碼、影像、音訊、影片對映到同一嵌入空間。它基於 Gemma 4 架構,可拆分出 270M 純文字、170M 視覺與 300M 音訊編碼器,並用 MRL 把輸出向量從 768 維截斷到 128 維,本地向量庫儲存最多省 6 倍。
Hacker News front page● 精選AI 評分85
Google DeepMind 發布 EmbeddingGemma 2,一個 Apache 2.0 許可、740M 引數的開源端側多模態嵌入模型,基於 Gemma 4 架構,把文字、程式碼、影像、音訊與影片對映到同一嵌入空間。它按需模組化:純文字最低 270M 引數,另有 170M 視覺與 300M 音訊編碼器;MRL 支援把 768 維向量截斷到 128 維,本地儲存最多省 6 倍。
X @lmstudio● 精選AI 評分73
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio,可直接在本地執行。它是一個 40B 的 MoE 模型,每次僅啟用 2.5B 引數,上下文視窗為 262K token,採用 Apache 2.0 許可,專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體,官方稱其基準測試表現相當出色。
Hacker News front page● 精選AI 評分81
DeepSeek 以 Apache 2.0 協議開源了支撐其大規模生產服務的推理框架 DeepInfer,目前僅支援 DeepSeek-V4.1-Flash 一個模型。該框架包含 FlashMLA、DeepGEMM、DeepEP 等最佳化核心,Attention DP 與 MoE EP+EPLB 並行,DSpark 投機解碼(草稿長度預設 5),以及預設開啟的非同步排程、批不變推理、確定性取樣,並支援正則、JSON schema、EBNF 結構化輸出。
Hacker News front page● 精選AI 評分79
德國 AI 公司 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri,總引數 78B、啟用引數 3B,支援最長 1M token 上下文,權重已在 Hugging Face 開放下載,採用 Apache 2.0 許可。該模型為英德雙語 MoE Transformer,面向公共管理、工業與航空航天等受監管領域,在 AIME 2025 上得分 96.9,官方稱其效能可對標啟用引數四倍於己的模型。
TechCrunch AI● 精選AI 評分78
Recursive 發布免費編碼模型 Flint,以 Apache 2.0 許可在 Hugging Face 開放下載,可在筆記本上離線執行。它是 40B 引數的混合專家模型,每次只啟用 2.5B 引數;在搭載 M4 Pro 的 MacBook Pro 上約 131 tokens/秒,約為同機 Gemma 4、Nemotron 3.5 Lightning 的兩倍;在 SWE-Bench Verified 上優於所有 50B 以下模型。
Cloudflare blog (AI)● 精選AI 評分76
Cloudflare 發布兩個自研決策模型 Clef 與 Clef-flash,託管在 Workers AI,並以 Apache 2.0 許可在 Hugging Face 開源,同時推出新的強化學習微調平台。Clef 目前在 Jev Decision Index 上排名第一,帶視覺編碼器、64k 上下文,而 Jev 只做文字分類、上下文 32k。這類模型輸出帶機率的結構化分類,供 agent 決定路由、升級或轉人工。
Hugging Face blog● 精選AI 評分75
Apertus 1.5 發布,在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式,上下文視窗擴至 262,144 token,為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face,技術報告同步公開。模型由第一代繼續預訓練而來,8B 增加 4 萬億 token、70B 增加 2 萬億,總量分別達 19T 與 17T。
機器之心● 精選AI 評分84
田淵棟參與創立的 Recursive_SI 發布首個模型 Flint-40B-A2B,已在 Hugging Face 以 Apache 2.0 開放權重。這是一個總引數 400 億、每 Token 僅啟用 25 億的 MoE 智慧體程式設計模型,在 M4 Pro MacBook Pro 上生成速度超過每秒 125 Token,在 64GB 記憶體的 NVIDIA RTX Spark 上超過每秒 150 Token。
Hacker News front pageAI 評分55
Hurston-1 以 Apache-2.0 協議開源,這是一個基於 Maya1 微調的窄帶 TTS 模型,主攻美國英語,尤其是南方口音與地區非裔英語,輸出面向電話場景。作者從 2 萬多人處收集了 1800 小時授權語音,本次只取其中 136 小時用於微調。據作者說明,該模型不支援聲音克隆,跨 prompt 的音色也無法保持一致;它已用於 Amazon、Salesforce 等客戶,累計帶來超過 50 萬美元收入。
量子位AI 評分50
10 月 16 日,範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域(ModelSphere),面向企業免費開源,以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程,可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片,無需為不同晶片重寫底層程式碼。
Hacker News front page● 精選AI 評分79
JetBrains 以 Apache-2.0 開源 ThinkRail,這是一個用 git worktree 把每個 agent 會話隔離到獨立工作區的 agentic IDE。專案中的每個 workspace 都是獨立 worktree,各有分支與工作目錄,可並行執行多個 agent,檔案、diff、終端與對話都按 workspace 隔離。
Hacker News front pageAI 評分41
Meta 為 Muse 推出開源硬體專案 Muse Gadgets,提供 ESP32 Device SDK 與 Linux Device SDK,可讓自建裝置接入 Muse 的顯示、按鈕、感測器與執行器。SDK 與韌體以 Apache 2.0 許可開源,官方同時列出樹莓派 5、Waveshare ESP32-S3、M5Stack StickS3 等範例專案,並預告 Muse on your TV 即將推出。
機器之心● 精選AI 評分86
DeepSeek 以 Apache 2.0 開源內部推理框架 DeepInfer 及配套編解碼元件 deepseek-recipe,當前支援 DeepSeek-V4.1-Flash。官方披露單叢集每天吞吐 155 萬億 token,按 API 谷價摺合每卡每小時 38 美元收入,有人以每張 B300 每小時 7 美元租金估算毛利率約 82%。
Ollama blog● 精選AI 評分91
Reflection 的首個開源權重模型 Beam 正式發布,並在 Ollama 上限時免費提供,通過 Ollama Cloud 呼叫且完全零資料保留。Beam 是混合專家模型,總引數約 5010 億、每 token 啟用 230 億,面向軟體工程、推理與長時程 agentic 任務,支援 100 萬 token 上下文,以 Apache 2.0 許可開放。
LM Studio blog● 精選AI 評分88
Meta 發布 30B 開源模型 Muse Glimmer,採用 Apache 2.0 許可,發布當天即可在 LM Studio Bionic 中下載並本地執行。該模型面向本地 agent 工作流,支援多步任務、工具呼叫與影像輸入,可在 Mac 和 PC 上執行。在 LM Studio 內部評測 BionicBench v0.1 的 18 項任務中完成率 83.3%,高於 Gemma 4 31B 與 Qwen 3.6 27B 的 77.7%。
Hacker News front pageAI 評分65
BetterWispr 是一款免費開源的 Mac 聽寫應用,Apache 2.0 許可,語音識別全程在本機完成,不需要帳號或雲端回退。按住 ⌥ Space 說話、鬆開即完成轉寫,文字直接落在當前應用,快捷鍵可自訂。內建 Apple speech、Parakeet 與 Whisper 共九個模型,Parakeet 覆蓋英語、日語和 25 種歐洲語言,也可接入 OpenAI 相容等外部 API。
X @GoogleDeepMind● 精選AI 評分80
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型,740M 引數在多項基準上具備競爭力,甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布,權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索,例如用語音備忘錄定位影片片段,也可與 Gemma 4 搭配實現端側私有 RAG。
r/LocalLLaMA top of the dayAI 評分61
開發者 nubela 發布 gufo 分支 gufo-Qwen3.6-35B-A3B-Q6dense,在 Strix Halo 上實現 3095 tok/s prefill、190 tok/s decode,目標為 3000 tok/s prefill 與 150 tok/s decode。該分支為 Qwen3.6 35B A3B 增加支援,面向優先速度而非智慧的負載;作者自行量化模型並以 Apache 2.0 發布,稱 unsloth 的 GGUF 也可用但效能較低。
Hacker News front pageAI 評分69
Pinrail 是一個 macOS 與 Linux 桌面應用,讓 Claude Code、Codex、Cursor、OpenCode 等任何能執行命令的 agent 在需要人工確認的步驟前發起稽核,你在專用檢視裡給出決定後 agent 繼續執行。agent 通過 pinrail submit 命令提交稽核內容並等待,請求按專案分組進入收件箱,返回的決定是可直接處理的 Markdown 或供指令碼使用的 JSON,命令退出碼錶示已決定、放棄、撤回或過期。
Hacker News front page● 精選AI 評分77
NVIDIA 的 OpenShell 發布 0.1.x 穩定版,為批次執行的自主 AI agent 提供帶策略約束的私有執行時。它在核心層對每次檔案訪問、系統呼叫和網路連線執行策略,並在策略變更生效前用形式化驗證標出新增的高風險訪問,憑據只注入到獲批端點。預設沙箱是未安裝任何 agent 的精簡 Ubuntu 映象,需要 Docker、Podman 或宿主虛擬化,官方教程用 OpenCode 接免費 OpenRouter 模型演示按需批准權限。
Latent Space● 精選AI 評分87
DeepSeek 開源了生產推理棧 DeepInfer,它基於 vLLM 定製、採用 Apache 2.0 許可,支援最長 72 小時 prompt 快取、投機解碼與結構化輸出,相容 NVIDIA 與華為昇騰。官方稱單叢集日處理 155 萬億 token、輸入快取命中率 96%、首 token 延遲 400ms、生成速度 230 token/s,按非高峰電價折算單卡每小時收入 38 美元,毛利率超過 80%、回本週期 81 天。不過 KV 快取管理與負載均衡仍未開源;
量子位● 精選AI 評分69
中國電信星辰通用人工智慧實驗室發布並開源意圖理解專用模型 Xing4.0-29B-Intent,同時開放 275.3 萬條訓練語料、模型權重與推理映象,程式碼採用 Apache 2.0 許可。模型按統一 Schema 輸出 JSON,可同時完成意圖分類與引數抽取;官方評測總分 58,高於 18 款參評通用模型的最高分 49。類別決策總分 70,領先 Jev 的 56 和 GPT-6-Luna 的 65。