llama.cpp b11813 把 Pixtral 的預分詞器換成 Tekken
llama.cpp 發布 b11813,Pixtral 改用 Tekken 預分詞器,不再沿用 Llama 3 的預分詞器(#30960),改變了該視覺模型的文字切分方式。
依意思最接近的 30 筆
llama.cpp 發布 b11813,Pixtral 改用 Tekken 預分詞器,不再沿用 Llama 3 的預分詞器(#30960),改變了該視覺模型的文字切分方式。
llama.cpp 建置 b11455 新增 vocab 型別 plamo3,實現 PLaMo-3 分詞器的預切分。它在 Unigram DP 前插入硬邊界,針對形如 <|plamo:...|> 的文字,以及連續至少 4 個相同字元或 2 個空格的片段;否則 llama.cpp 對程式碼縮排和重複標點的分詞會與參考實現不同。
DeepSeek 將其生產環境使用的 token 編碼與解碼元件 deepseek-recipe 開源。該元件的處理邏輯與官方 DeepSeek API 對齊,目的是讓社群自行部署的服務復現相同的 API 行為。這條訊息是該發布執行緒中的第 3 條,官方只給出倉庫連結,未說明許可證與適用範圍。
OpenAI 開發者帳號披露了其廣告系統的三段執行流程:orchestrator 會探索使用者的可能需求,把一次對話拆成多個意圖。接著,系統用基於嵌入(embedding)的搜尋找出候選廣告,再通過資格與相關性檢查縮小範圍。最終由競價工具完成廣告的最終選擇與定價。帖文未提及該系統的適用範圍與上線時間。
Jeffy 是一個可在普通電腦本地執行的分類器集合,無需 GPU,內建 13 個已訓練好的分類器,覆蓋垃圾資訊檢測、意圖路由、主題分類和情感分析,甚至能玩 Doom。使用者還可以用它訓練自己的分類器。專案作者在 Hacker News 上徵集使用場景與同類任務的架構方案。
llama.cpp 發布 b11753 版本,主要變更是給 Tekken 與 GPT-4o 預分詞器正則的前瞻斷言加入 \p{M},用於正確處理附加符號類字元。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置,包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
ttok 1.0 發布,預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器,但 William Liu 的實驗顯示,5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致,均為 44,794,GPT-6 在這批語料上沒有增加輸入 token。
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
Cloudflare 推出新一類 System One 抽取模型,首個模型 Clairic 已在 Workers AI 上線預覽(@cf/cloudflare/clairic),並計劃近期釋出開放權重。它單次前向、不生成 token,只對輸入計費,通常一秒內返回。可從非結構化文字(最多附 4 張圖片)中抽取名稱、日期、金額、列表等帶置信度的型別化數值,也能估算與預測未來序列並給出 80% 區間;找不到答案時返回 null。
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。
OpenAI 為 Codex 的 Pro 使用者推出 composer 預測功能 beta 版:Codex 會依據當前對話內容以及使用者平時的說話方式,建議下一條要傳送的訊息。該功能目前僅面向 Pro 使用者開放,官方稱這是內部測試中最受喜愛的新功能之一。原文未提及價格、額度變化或正式版上線時間。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
DeepSeek 開源生產推理棧 DeepInfer,用於支撐 V4.1 Flash,基於 vLLM 定製,支援投機解碼、結構化輸出與分散式推理,覆蓋 NVIDIA 與華為昇騰平台。官方披露單叢集日均處理 155 萬億 token、輸入快取命中率 96%、平均首 token 400ms、解碼 230 tokens/s(編碼場景 300 tokens/s)。按離線時段 38 美元/加速器小時計,推理毛利率超 80%,回本約 81 天。
研究者提出 Dust,稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重,而是在每個 token 上獨立擾動啟用(node perturbation),把每個 token 當作一個虛擬種群成員,一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大(即算力顯著更多)時 Dust 接近反向傳播,部分設定下甚至超過;
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
企業一度鼓勵員工儘可能多地使用 AI,即所謂的 #tokenmaxxing,隨後賬單隨之而來。報導援引一項針對近 400 家企業的調查稱,其中只有 11% 能準確預測自己的 AI 支出。AI 使用量以 token 計量,而企業發現 token 很難統計,這讓 AI 預算幾乎無法編制。
X Premium 訂閱將把多款 AI 工具打包在一起:在 Cursor 裡用 AI 寫程式碼、用 Bot 處理工作、用 Grok 對話與創作,並同時享有 X Premium 的全部功能。該訊息由 @SpaceXAI 發布,未披露價格、上線時間以及各工具的具體使用額度。
Honeyjar 推出一套 AI 公關與傳播工具,把資深公關的判斷力產品化,可自動撰寫公告、篩選記者、尋找演講機會並追蹤報導。公司稱候補名單開放 24 小時內收到 1 萬個報名,測試方包括 Nextdoor、Coco Robotics、Bloomberg Beta 以及 Mission North、Full Picture 等機構。工具不替使用者傳送,草稿仍需本人點選傳送或發布,強調把人類留在流程中;團隊還通過 Comms Lab 用其他公關從業者的判斷來訓練產品。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
llama.cpp 合併 PR #30390,為 Unigram 分詞器加入可選開啟的 NFC 歸一化,用於處理 Unicode 組合字元不一致導致的 tokenize 差異,需顯式啟用而非預設生效。該建置版本號為 b11612,覆蓋 macOS、Linux、Windows、Android 及 openEuler 等平台,包含 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等後端;
Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。
Anthropic 上線 Claude Duet 研究預覽,首批面向美國 Pro 與 Max 訂閱者,需通過等待名單申請。同日的企業側訊息是 HCLTech 成為 Claude 合作伙伴網路的 Global Premier Partner,將 Claude 與 Claude Code 接入其 IT 服務平台 AI Force,並把 Claude 嵌入 BigFix、AppScan 等 HCLSoftware 產品。
Vercel 資料顯示,TypeSafe AI 的輕量決策模型 Jev 上線兩週內被 35% 付費團隊使用,覆蓋面接近第二名 Sonnet 5.5 的兩倍,是 Vercel 平台上普及最快的模型。Jev 於 9 月 15 日限量發布,通過限定候選輸出降低推理成本、提升速度,適合大批次資料分類,Vercel 已用它替換 GPT-6 Luna 做有害命令分類。
Spinal 是面向任意程式碼庫的近即時預測介面,演示以 torvalds/linux(148 萬次提交、9.6 萬個檔案)為樣本。它能標出補丁的改動規模與影響範圍:KVM 檢查重複 vcpu_id 的提交 56 天后被回退;mm 移除 is_cow_mapping() 波及 arch、drivers、fs 等 7 個模組,+107/−38;net selftests 新增 380 行手寫程式碼覆蓋 UDP splice 校驗和分片對齊。
DeepSeek 介紹 DeepInfer 推理引擎,包含高效能核心與最佳化推理引擎、分散式推理與投機解碼、SWA Bounded Replay 和結構化輸出。官方稱未來 DeepSeek 模型的推理程式碼及後續最佳化也將在此發布。帖文未給出效能資料、支援模型或上線時間。
TypeSafe AI 的 Jev 模型近期走紅,其介面可直接返回預設選項、分數或事件機率,供程式碼呼叫,但未開源、架構未公開。NeurIPS 2025 入選論文 ConfTuner 提出 Tokenized Brier Score,僅用對錯標籤即可訓練置信度機率分佈,在 LLaMA、Qwen、Ministral 上把平均 ECE 從 0.2768、0.3781、0.4393 降至 0.1082、0.2872、0.1884,4 張 A40 上約 4 分鐘完成微調。
OpenAI 開發者帳號披露 ChatGPT 廣告系統的技術架構:由 LLM 編排器統一排程檢索、排序與競價模組,讓廣告能跟隨不斷演變的對話內容作出回應,同時強調回答本身保持獨立。該帖只給出各模組的分工,未說明廣告的具體展示形式、計費方式或適用範圍。
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1,約 2.8 萬億 token,覆蓋印度憲法列出的 22 種語言,即將開源,同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token(按 Gemma-4 分詞器計),共 34 種語言—文字組合,其中 12 種語言另有羅馬化文字。
Hugging Face 的 yuvraj sharma 用 HuggingChat 裡的 ML Intern agent,幾天內做出 6 個公開模型,其中把 Qwen-Image 2.1 自帶的 9B 提示改寫器蒸餾成 0.8B 版本,可在 CPU 執行,輸出有效率 99.7%,token 消耗約為教師模型的四分之一。該專案含 9B 模型標註 8,797 條樣本,算力成本 16 美元。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。