VocabX 按成本重構詞表,Qwen3-4B 推理成本實測降 77%
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。
依意思最接近的 30 筆
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。
llama.cpp 發布 b11793 建置,核心改動是最佳化詞表(vocabulary)載入(PR #30679)。同一批提交還更新了 src/unicode.h、在 gguf_kv_to_str 中預分配記憶體並修復行尾空格。
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1,約 2.8 萬億 token,覆蓋印度憲法列出的 22 種語言,即將開源,同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token(按 Gemma-4 分詞器計),共 34 種語言—文字組合,其中 12 種語言另有羅馬化文字。
llama.cpp 發布 b11471 建置,主要變更是向詞表加入 Plamo 的 FIM(fill-in-the-middle)tokens,服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
量子位發文吐槽,Fable、Sol 等與 Coding 沾邊的模型普遍輸出「15/15 全綠」「單腿啞火」這類黑話。文中分析,除 Coding 過擬合外,更主要的原因是廠商為省 Token 把思維鏈壓縮成「穴居人語」,OpenAI 最早這麼做,同樣一句話的 Token 消耗比白話文少 70%;Claude 自 Opus 4.6 起也開始如此。作者稱最新 Opus 5.5 語言能力回升明顯,而 Gemini 因輸出風格正常、排版層級清晰,被社群視為少數還能正常溝通的 AI。
llama.cpp 發布 b11813,Pixtral 改用 Tekken 預分詞器,不再沿用 Llama 3 的預分詞器(#30960),改變了該視覺模型的文字切分方式。
awslabs 發布 AI-DLC 最新穩定版,這是一套與 harness 無關的 AI 編碼工作流核心,可原生執行在 Claude Code、Kiro CLI、Kiro IDE、Codex CLI、Cursor、opencode 與 GitHub Copilot 中。macOS、Linux、WSL 和 Windows 各有一條安裝命令,原生安裝自帶 aidlc 命令與各 harness 執行時,無需 Bun 或 Node.js。
NVIDIA 的 Nemotron 3.5 Super VL 已在 LM Studio 上線,可直接在本地下載執行。該模型為 120B 總引數、12B 啟用引數的 MoE 架構,支援視覺輸入與推理,並針對視覺理解和工具呼叫做了訓練。官方提示本地執行約需 70GB 記憶體,模型頁面位於 lmstudio.ai。
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
OpenAI 開發者帳號 @OpenAIDevs 發帖,提示可以直接用語音與 Codex 對話,讓鍵盤休息一下。帖文只有這一句話,未說明該能力在哪些客戶端或介面可用、是否已上線,也未提及面向哪些帳號型別、如何呼叫或是否收費。
Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。
OpenAI 表示,最新一輪模型能力提升集中在 COBOL、Fortran、Visual Basic 等低資源程式語言,增強了這類軟體的建置與遷移能力。這些語言支撐著銀行、政府和企業長期依賴的系統;OpenAI 的目標是理解數十年的業務邏輯,並在保留可用部分的前提下幫助開發者完成現代化改造。OpenAI 稱會圍繞開發者與企業客戶提出的實際難題推進,並公開徵集下一批需要支援的語言與工作流。
人大、百度、清華等機構開源視覺語言模型 LoopVL,把迴圈 Transformer 擴充套件到多模態:僅 1B 語言主幹、0.14T 訓練 token,就在 MMMU-Pro、MathVision 等評測上追平或超過用約 36T token 訓練的 Qwen3.5-2B、InternVL3.5-2B。模型以 32 層引數展開 128 次層呼叫(H2L3×2),影像只編碼一次,後續迴圈持續更新視覺—語言狀態;
作者用 Qwen2.5-Coder-0.5B 微調出 360M 引數模型 WorldTUI,它背後沒有 shell 和檔案系統,只根據每次按鍵預測終端螢幕變化,能建立檔案、執行 vim 與 tmux、玩貪吃蛇。訓練資料由 Docker 中錄製的真實終端會話合成,共 33.6 萬段、約 20 億 token,其中 35% 的會話從任務中途開始;推理使用僅 333 個 token 的小詞表,COPY 行操作把滾動重繪從約 3000 token 降到每行 3 個。
Mistral 在 Voxtral 3 中附帶發布了語音 agent SDK,底層基於 LiveKit 建置。該 SDK 把語音流程串成一條流式管線:Transcribe 負責收音轉寫,一個推理模型負責思考並呼叫工具,Speech 負責生成回覆,三段串聯以支援自然、即時的語音對話。官方推文只給出這套管線結構,未披露價格、上線時間與語言支援等細節。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
OpenAI 開發者帳號發布 Codex CLI 演示影片,展示三種終端內用法:用語音啟動任務、跨多個專案管理 agent,以及在獨立 worktree 中並行探索另一條實現方向。推文未提及這些能力的上線時間、版本號或可用範圍。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
llama.cpp 建置 b11455 新增 vocab 型別 plamo3,實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界,針對形如 <|plamo:...|> 的文字,以及連續至少 4 個相同字元或 2 個空格的片段;否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。
llama.cpp 建置版本 b11819 新增 Nemotron 模型支援,可處理非標準 GQA 與 BPE 分詞器,併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料,分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。
Kimi 團隊開源 WorldVQA 基準,用 3500 組圖文問答檢驗多模態大模型是否真的認出了圖中的實體,而不是僅憑視覺模式猜測。資料集覆蓋 9 大類,中文佔 36%、英文佔 64%,並把常見知識與長尾知識分開統計;結果顯示,前沿模型在長尾題上的準確率常常低於 50%。校準實驗還發現,各模型普遍過度自信;其中表現最好的 Kimi-K2.5,其 ECE 仍達 37.9%,Slope 為 0.550。
llama.cpp 發布建置 b11814,程式碼層面唯一改動是為詞表(vocab)新增 clean_spaces 這個 GGUF 鍵(#30940),其餘是各平台預編譯產物的例行更新。
AnyLanguageModel 1.0 發布:這個 Apple Foundation Models 框架的替代方案只需換成 import AnyLanguageModel,同一份會話程式碼即可呼叫系統模型、llama.cpp、MLX、Core ML 本地模型,以及 OpenAI、Anthropic、Gemini、Ollama、Private Cloud Compute 等託管服務。