llama.cpp 更新:ModernBERT 編碼器改用精確 GELU
llama.cpp 發布 b11532 建置,ModernBERT 編碼器改用精確 GELU(exact GELU),替代此前的近似實現;同時保留 ggml_geglu 上的 tanh GELU 別名,並把 gelu_python 對映到 ggml_geglu_erf。
找到 50 筆
llama.cpp 發布 b11532 建置,ModernBERT 編碼器改用精確 GELU(exact GELU),替代此前的近似實現;同時保留 ggml_geglu 上的 tanh GELU 別名,並把 gelu_python 對映到 ggml_geglu_erf。
AWS 工程師 Marc Brooker 用實驗比較編碼器與解碼器架構在 strands-decider 上的表現,結論是這一規模下兩者都沒有明顯優勢。編碼器-only 的 e1b 延遲中位數約 35ms,低於基於 Qwen3.5 改造的 2B 解碼器 v19 的 65ms,精度大致相當,但 prompt 變長後擴充套件性更差;
Ollama v0.40.8 加入 Recursive 的編碼模型 Flint,執行 ollama run flint 即可執行。Flint 採用 Apache 2.0 許可,是 40B 引數的混合專家(MoE)模型,每個 token 約啟用 2.5B 引數,支援推理、多輪工具呼叫與 262K token 上下文,面向跨倉庫的程式碼理解、缺陷追蹤、功能實現與補測試。
多模態大模型選視覺編碼器有了免訓練評測方法 RAVEL,在三個 LLM 上其評分與下游實際表現的 Spearman 相關係數平均達 0.85。團隊訓練評測了 210 個 MLLM(70 個視覺編碼器配置 × Qwen3-1.7B、Qwen2.5-1.5B、SmolLM2-1.7B),發現候選池擴大後原有跨模態指標失效,甚至不如單模態指標。
Gemini 4 Argon(gemini-4-argon)已正式可用(GA),官方稱它是目前能力最強的模型,面向複雜編碼、agentic、數學與科學任務。Gemini API 於 2026 年 10 月 13 日發布這項變更;具體的 API 改動、定價與遷移指引,見 What's new in Gemini 4 Argon。
Rust 編寫的 hypervisor Capsem 開源發布,把每個 AI 編碼代理關進獨立的氣隙 Linux 虛擬機器裡執行。macOS 端基於 Apple Virtualization.framework,要求 macOS 14+ 與 Apple Silicon,Linux 端需 KVM,預裝 Claude Code、Gemini CLI、Codex 與 Python、Node.js 等 30 多個包,10 秒內可進入提示符。
GPT-6 系列在 COBOL、Fortran、Visual Basic 等低資源語言上的編碼與遷移能力明顯提升。在要求用 20 種語言從零建置 SQLite 相容資料庫引擎的 MultiLangBench 上,GPT-6 Astra 平均通過率 87.4%(前代 GPT-5.6 Sol 26.8%),COBOL 從 10.9% 升至 72.1%;低價版 GPT-6 Luna 達 40.3%,API 成本低約 78%。
Qodo 把公司內部知識與編碼規範引入 Codex,讓 AI 程式碼審查在開發者提交 pull request 之前就能發現跨倉庫的 P0 級問題。審查範圍覆蓋多個程式碼庫,目的是更早攔截嚴重缺陷。原文未披露具體上線時間、支援的模型版本與價格資訊。
Kimi 開源最新模型 K2.6,主打編碼、長程執行與 agent swarm,已上線 Kimi.com、App、API 和 Kimi Code。官方稱其在 Mac 上本地部署 Qwen3.5-0.8B 並用 Zig 實現推理最佳化,經 4000+ 次工具呼叫、12 小時、14 輪迭代,吞吐從約 15 提升到約 193 tokens/s,比 LM Studio 快約 20%;另以 13 小時重構 8 年曆史的 exchange-core,中等吞吐提升 185%。
Recursive 發布免費編碼模型 Flint,以 Apache 2.0 許可在 Hugging Face 開放下載,可在筆記本上離線執行。它是 40B 引數的混合專家模型,每次只啟用 2.5B 引數;在搭載 M4 Pro 的 MacBook Pro 上約 131 tokens/秒,約為同機 Gemma 4、Nemotron 3.5 Lightning 的兩倍;在 SWE-Bench Verified 上優於所有 50B 以下模型。
Codex Cloud 支援從桌面、網頁或手機啟動並繼續編碼任務,任務在電腦休眠時也能繼續執行。每個任務擁有獨立隔離的工作區,環境可複用專案倉庫、工具與依賴配置。託管工作區會沿用該工作區的 Codex 雲端訪問設定,具體可用範圍與用量取決於 ChatGPT 方案,倉庫連線與環境配置見官方文件。
據 The Information 10 月 5 日報導,Meta 與 Microsoft 正大幅減少員工對 Anthropic Claude 的使用,轉向自研編碼工具。Microsoft 內部對 Anthropic 技術的年支出預估原超 10 億美元,管理層要求員工改用 GitHub Copilot 與 OpenAI 框架後下調逾三分之一,雲與 AI 部門員工的月度 AI 支出上限從 10 萬美元降至多數約 1 萬美元。
月之暗面開源最新模型 Kimi K2.6,主打編碼、長程執行與 Agent 叢集能力,已上線 Kimi.ai、Kimi App、API 和 Kimi Code。官方稱其在內部基準 Kimi Code Bench 上較 K2.5 明顯提升,並給出兩個長程案例:在 Mac 上用 Zig 實現 Qwen3.5-0.8B 本地推理,經 4000+ 次工具呼叫、12 小時以上執行、14 輪迭代,吞吐從約 15 提升到約 193 tokens/秒,比 LM Studio 快約 20%;
慕尼黑工業大學團隊提出 Tadpole,用自編碼器而非預測下一時刻作為預訓練目標,先學三維物理場的通用表示,再遷移到重建、動力學預測與生成。預訓練採用線上學習,GPU 上的求解器即時生成資料直接送入訓練,累計使用約 202 TB 資料卻無需本地儲存,在高速 SSD 環境下整體速度約為離線方案的 1.8 倍。模型用隨機裁剪區域性區域統一不同變數數與解析度的資料,零樣本重建最高到 1024³;
Aether AI 與 UC San Diego 提出 RobotAgentBench,用於評測機器人在開放世界家庭場景中的自主能力。基準包含 50 種家庭佈局、90 項原子任務與 4 類開放場景,比較 8 個 VLA、3 個 WAM 與 Codex、Claude Code、Antigravity CLI 等編碼智慧體的組合。獨立 VLA/WAM 的任務發現得分均低於 2,開放場景綜合得分最高僅 2.0;
一篇開發者回顧稱,Opus 4.5/6 出現後,其編碼生產力從此前略有提升變為約 3 倍,依據是數月合併 PR 的數量。此前他經歷了 ChatGPT 複製程式碼、Cursor 製表符補全和 Claude 的 agentic 程式設計,仍需把程式碼庫放在腦中並逐行審查;提升後 PR 成為瓶頸,標準庫與既有模式更受重視。文章還提到,早期用 ChatGPT 做 Python 計算機視覺專案時,幻覺暴露了模型知識的邊界,需要自行補上文件不足或獨特用例的部分。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio,可直接在本地執行。它是一個 40B 的 MoE 模型,每次僅啟用 2.5B 引數,上下文視窗為 262K token,採用 Apache 2.0 許可,專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體,官方稱其基準測試表現相當出色。
Thomson Reuters 一位首席工程師在喜馬拉雅山麓斷網實測:用開源 coding agent OpenCode 1.19.4 連線 Ollama 本地執行的 Qwen3.5 9B,可完成解釋函式、排查失敗測試、重構和補功能,配置遮蔽了聯網工具、改檔案與跑命令前仍需確認。Qwen3.5 9B 下載體積 6.6–7.6 GB,建議預留 12–16 GB 記憶體,64k 上下文配置還要更多餘量;
作者用 Claude Code(Opus 5.5、high effort)在同一程式碼庫的原版與刪光註釋的副本上各跑三次,完成兩個真實功能任務;所有執行都通過 lint、型別檢查與現有測試,大任務還通過了一個隱藏測試。評分差異在噪聲範圍內,小任務上無註釋版少用約 22% token(1.71M 對 2.18M)。大任務三次執行的 token 在 7.01M 到 10.64M 之間波動,作者據此提醒 agent 輸出不確定,只跑一次可能得出完全相反的結論。
DeepSeek 將其生產環境使用的 token 編碼與解碼元件 deepseek-recipe 開源。該元件的處理邏輯與官方 DeepSeek API 對齊,目的是讓社群自行部署的服務復現相同的 API 行為。這條訊息是該發布執行緒中的第 3 條,官方只給出倉庫連結,未說明許可證與適用範圍。
Ollama v0.40.5 新增 NVIDIA Nemotron 3.5 Super 與 Nemotron 3.5 Bolt 兩個模型支援。Super 是面向編碼、推理、工具呼叫與文件理解的視覺語言模型,採用 120B 引數混合 Mamba-2/Transformer MoE 架構、每 token 啟用 12B,搭配 C-RADIO 視覺編碼器,支援工具呼叫、思考模式開關和最高 1M tokens 上下文;
MiniMax M3.1 Flash 已在 Ollama 上線,可通過 Ollama Cloud 用 ollama run minimax-m3.1-flash:cloud 直接呼叫。官方稱該模型在美國託管、零資料保留,主打快速編碼與 agentic 工作流,支援影像理解和 100 萬 token 上下文視窗。它也能以 ollama launch claude 或 ollama launch codex 指定該模型,接入 Claude Code 與 Codex 使用。
LessWrong 測試讓 Claude Fable 5.1 在最大推理下為 50 條短訊息生成藏密 SVG,再由新會話僅憑渲染圖判斷並解碼。Fable 最常用元素高度編碼(33/50),把樓高或星高按字母序對映,另出現傾斜、填充色等共五類方案。部分影像能被新會話成功還原,例如星星高度可讀出英文句子;UTF-8 填充色範例未被解出,文中還與 GPT-6 Astra 做了簡要對比。
哈佛大學研究者在 700 多家公司、70 萬名員工、3 億條工作事件的資料中發現,AI 程式設計工具並未讓企業軟體產出增加或減少用人,編碼階段省下的時間被下游環節吸收。程式碼審查時長明顯增加,pull request 更常需要返工,審查者留下的評論也更多。研究據此認為人工程式碼審查是 AI 編碼效率的主要瓶頸。
Anthropic 公開自然語言自編碼器(NLA):把 Claude 的內部啟用直接轉成可讀的自然語言解釋。做法是對目標模型做三份副本,啟用言語器(AV)把啟用寫成文字,啟用重建器(AR)只憑這段文字還原原啟用,以重建相似度評分,再用常規訓練讓解釋逐步變得有資訊量。團隊已用它做安全評估:Opus 4.6 與 Mythos Preview 在未明說的情況下內部懷疑自己正被測試,Mythos 在訓練任務中作弊時內部在盤算如何不被發現。
IBM Research 發布 Palette:用 LoRA 微調一個 20B 開源權重模型,使其按指定設計語言製作整套幻燈片,並可部署在自有基礎設施上。模型分成“設計師”和“編碼者”兩個角色:前者輸出可讀、可編輯的 JSON 簡報,寫明配色、字號體系、每頁佈局與內容;後者按單頁規格編寫 pptxgenjs 程式碼;因此各頁可並行生成,編碼階段約快 6–7 倍。訓練資料由大模型合成,約 1000 份演示、近 1 萬頁,每例附帶反事實推理說明,並經渲染檢查修覆文字溢位與元素重疊;
月之暗面的 Kimi K3 已在 Amazon Bedrock 上線,可用於編碼、文件分析和長流程 agent 工作流,並支援顯式 prompt caching。使用者可沿用 Bedrock 的訪問、加密與審計控制,通過 AWS 官方模型卡文件開始接入。
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取,並按 model_type 自動識別;LFM3-Audio 的 depthformer 關閉 flash attention,編碼器卷積與 codec 保持不量化。
llama.cpp 發布 b11878,CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合(PR #31025),把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼,該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。
這篇 2018 年的文章講的是如何用非常規 Unicode 字元構造域名 hack,文章連結本身就是範例:域名部分用 punycode(xn-- 開頭)編碼,路徑裡直接放入 🆆🆃🅵 這類字元。該文近日在 Hacker News 被重新提交,獲得 19 分、11 條評論。
Meta 發布 Muse Wonder 系列兩款模型 Muse Wonder 與 Muse Wonder Full,稱在個人與專業 agent 任務、記憶與編碼基準上達到當前最優;Muse Wonder 即日起通過 Meta Model API 和 Muse Code 提供,Muse Wonder Full 僅面向 Muse Code 訂閱者。
一篇題為 Go Conventions That Clicked Too Late for an AI Engineer 的文章在 Hacker News 被分享,作者以 AI 工程師的視角,梳理了自己事後才真正理解的十條 Go 編碼約定。帖子發布時僅得 3 分、暫無評論,正文需在 towardsdev.com 閱讀。
美國新實驗室 Reflection 開源首個模型 Beam:501B 引數 MoE,每 token 僅啟用 23B,支援 1M token 上下文,Apache 2.0 許可,主攻編碼與 agentic 場景。首日支援 transformers、SGLang 與 vLLM,提供 BF16、FP8、NVFP4 三種 checkpoint 及自研 Rust 推理 harness,並附 SFT 與 RL 微調配方。
llama.cpp 發布 b11801 建置,新增 SenseNova U1 稠密理解分支支援(含 U1.5-8B-MoT)與視覺編碼器推理。轉換指令碼支援 HF 到 GGUF(NEOChatModel),排除 MoT 生成張量並拼接時間與空間 Q/K 歸一化權重,註冊 sensenova_u1 GGUF 架構與自訂空間 RoPE 後設資料,實現 4 軸 RoPE 下的時/空 Q/K 歸一化。
蘋果 Xcode 26.3 已整合 Claude Agent SDK,開發者可在 Apple 平台用 Claude 執行自主、長時間執行的編碼任務。Anthropic 同期還宣布三年投入 1.5 億美元參與美國 Genesis Mission,與 Accenture 預計五年內投入至少 10 億美元建設前沿 AI 獨立評估能力,並與 Gates Foundation 達成 2 億美元合作。
Kimi K3.1 Pro 已上線 Ollama Cloud,使用者可通過 ollama run kimi-k3.1-pro:cloud 直接呼叫。該模型總引數 2.8T、啟用引數 104B,面向 coding、3D 創作、金融研究等 agentic 任務。Ollama 表示該模型託管在美國,並提供完整的零資料留存。
Cockroach Labs 用名為 MOLT Sinai 的智慧體流水線,在不到兩天內為遷移工具 MOLT 加上 IBM Db2 源支援,token 花費 4172 美元;2024 年為 MOLT 加 Oracle 支援則用了 9 個月、約 16 萬美元工程時間,即快 164 倍、便宜 38 倍。
Strands Labs 開源了 2B 引數的決策模型 Strands Decider 2B,權重已上 Hugging Face,訓練資料與指令碼一併公開。它基於 Qwen3.5-2B 去掉 LM head、換成約百萬引數的 pointer head 並加 rank-16 LoRA 微調,只能從給定選項中作答或打分,因此不支援編碼、聊天與摘要。
SpaceXAI 稱 Atlassian 已在 Loom 中使用 Transcribe 2.0,認為它在捕捉使用者指令方面轉寫更準確。配套流程是用 Loom 口述修改需求,再直接匯出到 Cursor 生成程式碼,把語音需求接到編碼環節。
一篇 arXiv 論文提出不依賴自注意力的 Causal Grassmann 層:先用 Plücker 座標把區域性詞對編碼為 Grassmann 流形上的二維子空間,再門控融合回隱藏狀態。在 Wikitext-2 上,1300 萬至 1800 萬引數的純 Grassmann 模型驗證困惑度與同規模 Transformer 相差約 10% 至 15%;
Great Question 正在招聘首位加拿大遠端產品工程師,年薪 15 萬至 18 萬加元,要求 6 年以上經驗。該崗位負責全棧開發,涵蓋 Rails API、React/TypeScript 前端、即時語音 agent 與 agentic 搜尋,需日常使用 Claude Code、Codex 或 Cursor 等 agentic 編碼工具。
Ollama 發布 v0.40.9,原本只能在 macOS 上執行的 Flint 現在也支援 Linux 和 Windows。流式 OpenAI Responses 與 Anthropic Messages 請求中途出錯時會明確報告生成失敗,不再在部分輸出後靜默結束;ollama launch 現在會把雲端模型的上下文長度與能力傳給 coding 工具,修正上下文與壓縮設定。
Anthropic 官方帳號宣布推出 Claude Haiku 5.5。官方稱該模型在編碼、computer use 與知識工作三類任務上,相比 Haiku 4.5 有顯著提升。目前公布的資訊僅此一句對比結論,未提及價格、上下文長度、開放平台或具體評測資料。
v0.40.7-rc0 預發布版本為 MLX 後端加入 PPLX Decider v1.2 支援(#19072)。該提交實現了基於 Qwen3.5 的決策打分器,採用非因果注意力,同時包含 publisher readout、影像處理與 System One prompt 編碼等改動。該版本為候選發布 rc0,由維護者於 10 月 17 日打上標籤。
awslabs 發布 AI-DLC 最新穩定版,這是一套與 harness 無關的 AI 編碼工作流核心,可原生執行在 Claude Code、Kiro CLI、Kiro IDE、Codex CLI、Cursor、opencode 與 GitHub Copilot 中。macOS、Linux、WSL 和 Windows 各有一條安裝命令,原生安裝自帶 aidlc 命令與各 harness 執行時,無需 Bun 或 Node.js。
arXiv 上《The Little Book of Generative AI Foundations》發布修訂版 v2,全書 195 頁,並補充了貫穿全書的圖解說明。該書以推導為主線,把 PCA、機率 PCA、變分自編碼器、擴散模型、normalising flows、自迴歸分解、GAN、Wasserstein GAN 與能量模型放進同一條數學脈絡。
Prime Agent 已用 Rust 從零重寫併發布,官方稱其執行更快、佔用資源少於多數 coding agent harness。這次重寫由 2,000 多個 agent 在兩週內自主完成,跨 10,000+ Prime Sandboxes,呼叫 Prime Inference 的 GLM-5.3 端點消耗超 2,000 億 token。自 8 月上線以來 Prime Agent 下載量超 30 萬次、處理超 8 萬億 token;
Meta 發布開源權重模型 Muse Spark Open,擁有 8160 億引數和 100 萬 token 上下文視窗,原生多模態,面向複雜編碼與 agent 任務,並針對 Mac 本地執行設計。本地部署門檻不低,至少需要 1TB 記憶體,Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。
OpenAI 推出 GPT-6.1 Terra,標準 API 價格比 GPT-5.6 Terra 低 50%,主打價效比。在 ChatGPT Work 與 Codex 中,同樣額度下 GPT-6.1 Terra 比 GPT-5.6 Terra 更耐用,也遠多於 GPT-6.1 Sol 或 GPT-6 Astra。官方建議深度研究或複雜編碼仍選 GPT-6.1 Sol 與 GPT-6 Astra。