llama.cpp 修復投機解碼下 logprobs 為空的問題
llama.cpp 建置 b11776 修復了服務端在開啟投機解碼(speculative decoding)時無法正確返回 logprobs 的問題:此前被接受的草稿 token 其 logprob 報為 0.0、top_logprobs 為空,現在改為返回目標模型的 logprobs。同時新增迴歸測試(#24271),把開啟草稿的執行與不開草稿的基線做對比,該測試在修復前的版本上失敗,應用 #27196 後通過。
依意思最接近的 30 筆
llama.cpp 建置 b11776 修復了服務端在開啟投機解碼(speculative decoding)時無法正確返回 logprobs 的問題:此前被接受的草稿 token 其 logprob 報為 0.0、top_logprobs 為空,現在改為返回目標模型的 logprobs。同時新增迴歸測試(#24271),把開啟草稿的執行與不開草稿的基線做對比,該測試在修復前的版本上失敗,應用 #27196 後通過。
LiquidAI 發布 LFM2.5-24B-A2B:總引數 24B、每 token 僅 2B 啟用的 MoE 推理模型,專為在本機持續執行的私有 Agent 設計。它先輸出思維鏈再作答,能呼叫工具,上下文由上一代 32K 擴到 131K,詞表從 65K 翻倍至 128K。
llama.cpp 合併 PR #27694,為 simple draft 與 MTP 推測解碼引入機率取樣:草稿端按機率取樣,目標模型用拒絕取樣驗證,並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣,預設仍為貪心;語法約束請求回退到 argmax,同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交,隨各平台建置一同發布。
OpenAI 的 Decisions API 進入公測,官方稱其評估文字、影像或兩者並返回結構化答案的速度約為 Responses API 的 10 倍,預計數週內 GA。該 API 使用獨立的 POST /v1/decisions 端點,目前僅支援 gpt-6-luna,問題分三類:predicate 返回條件成立機率(0 到 1)、choice 從給定選項中選一個、score 按有序等級給出機率加權平均分。
OpenAI 於 2026 年 10 月 6 日發布由內部前沿模型產出的多項數學結果,以 GitHub 倉庫形式公開,併為其中許多證明提供 Lean 形式化驗證。倉庫同時給出 10 份模型推理摘要、以 ChatGPT Pro 用量折算的算力估算,以及嘗試題目數量的統計,平均每個結果約消耗相當於 3 小時 ChatGPT Pro 思考的算力。
llm-echo 0.5 發布,這個除錯外掛不接入任何 LLM,只把收到的 prompt 原樣回顯,新版讓模擬的 token 用量統計把工具呼叫、系統提示詞和推理 token 都計算在內。
ChatGPT 聊天標籤頁中的 GPT-6 Pro 新增多智慧體能力:多個 agent 可以同時處理同一任務的不同部分,使用者能直接在對話中跟蹤各自進度,並開啟已完成任務檢視每個 agent 做了什麼。該版本同時把回應速度變快,並改進了外掛與工具的使用方式,更利於把任務完整執行完。更新正面向符合條件的 Pro 使用者推送,託管工作區的可用性取決於工作區設定與推送資格。
法律 AI 公司 LegalOn 通過在 GPT-6 Luna、GPT-6.1 Sol 和 GPT-6 Astra 之間按任務複雜度選型,把 Codex 的預估日成本降低約 65%,同時保持開發速度。此前開發者可無限使用 GPT-5.5 的 Fast 模式,公司隨後預設限制 Fast 模式,並按部門、小組和個人設定月度用量與預算上限。輕量任務交給 Luna 寫程式碼,Sol 負責常規設計、資料分析與文件,Astra 處理架構設計等複雜判斷;
Liquid AI 發布 LFM2.5-24B-A2B:24B 引數、每 token 僅啟用 2B 的推理模型,面向端側私有 agent,權重開放,已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型,上下文從 32K 擴至 131K,詞表由 65K 翻倍到 128K,預訓練從 17T 擴到 33T token。
智譜推出法律專用開源模型 GLM-Legal,在 Vals AI 法律測評中以 19.2% 的任務全通過率和 86.23% 的準確率拿下 Harvey LAB 與 LegalBench 雙榜開放權重模型第一。它基於 GLM-5.3-Flash 訓練,適配中文法律實務,能處理合同審查、證據梳理和東南亞跨境合規,官方演示中可給出終止條款修改方案與交接清單。目前開放律所、法律科技公司與法務團隊申請 Beta,並計劃將相關能力接入 AutoClaw。
OpenAI 為 ChatGPT 中的 GPT-6 Astra Pro 推送升級,回應速度更快,外掛與工具呼叫也有所改進,並新增多智慧體並行能力。多個 agent 可以分別處理同一任務的不同部分,使用者能跟蹤每個 agent 的進度,也可開啟已完成任務檢視其工作結果。該功能現面向 Pro 使用者在 Chat 標籤頁開放。
AlphaGo 核心作者 Thore Graepel 在 MIT Technology Review 發文稱 LLM 不會推理,並已離開 Google DeepMind 創業做可審計的機器推理。他指出 AlphaGo 第 37 手是策略網路加搜尋機制的結果,而 LLM 的思維鏈仍只是預測下一個 token,缺少可檢查的認知狀態、知識與推理的分離,且常事後編造解釋。Yann LeCun 表示讚賞,認為真正推理必須涉及搜尋。
llama.cpp 發布 b11571 建置,新增對 pplx-decider(vLLM decision 2)模型的支援,並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 合併 ggml RPC 張量傳輸日誌改進(#30481):新增 rpc_log_format_size(),在客戶端、服務端與傳輸層日誌中以 KiB/MiB/GiB 列印位元組數;新增 rpc_log_format_tensor(),在 set/get/memset/copy/init 張量日誌中帶上張量名、運算元、型別與形狀。
OpenAI 在 GitHub 公開了 722 篇由內部未發布前沿模型生成的數學手稿,涵蓋數論、代數幾何、分析、組合數學等方向,其中約 300 項核心結果完成 Lean 形式化驗證,佔 42%。公司稱模型共嘗試超過 4000 個問題,一項典型成果平均消耗約 3 小時 ChatGPT Pro thinking 算力,但未公開所用模型與提示詞。
2026 年 10 月 3 日,一名使用者忘記取消自動續費,ChatGPT Pro 被扣 200 美元,約 6 分鐘後即提交退款申請,仍被幫助中心助手以通用理由拒絕,要求轉人工後工單被關閉。第二次聊天和郵件請求(含 5 張打碼截圖)同樣被拒,回覆明確標註為 AI 生成。使用者稱未獲得針對其個案的具體拒退原因,也未確認有人工稽核。
OpenAI 表示,最新一輪模型能力提升集中在 COBOL、Fortran、Visual Basic 等低資源程式語言,增強了這類軟體的建置與遷移能力。這些語言支撐著銀行、政府和企業長期依賴的系統;OpenAI 的目標是理解數十年的業務邏輯,並在保留可用部分的前提下幫助開發者完成現代化改造。OpenAI 稱會圍繞開發者與企業客戶提出的實際難題推進,並公開徵集下一批需要支援的語言與工作流。
Anthropic 推出 OpenTelemetry 匯出(Beta),可把 Messages API 請求與 Claude Managed Agents 會話的追蹤資料送入自建可觀測後端。Claude SDK 已在 Python、TypeScript、Go、Java 等七種語言中輸出 span,採集 API 側資料需在 Claude Console 新增 OpenTelemetry 目的地。
llama.cpp 合併 PR #14891,為 GGUF 格式 imatrix 引入基於啟用值的統計計算,新增 --activation-statistics 引數。該功能可計算啟用熵、餘弦相似度、L2 範數及歐氏-餘弦分數(ECS),並支援外部 NextN 草稿檔案(-md / --model-draft)。預設不啟用啟用統計以避免 imatrix 體積翻倍,統計報告佈局與排序也按 imatrix 型別更新。
OpenAI 經濟研究的報告顯示,在歐盟 ChatGPT Enterprise 客戶中,Codex 與 ChatGPT Work 已佔輸出 token 的一半以上,AI 使用正從提問轉向由 agent 執行任務。2026 年 5 月以來,歐盟中小企業中這兩款產品的周活躍使用者增長超過 8 倍,覆蓋每個成員國;但國別差異明顯,其輸出 token 佔比從斯洛維尼亞的 22% 到立陶宛的 85%。
Parsimony 是一個開源基準,用來衡量 AI 模型在改程式碼時到底新增了多少程式碼。它複用 DeepSWE、SWE-bench Verified 與 SWE-bench Live 已公開的補丁,統計語句、呼叫、命名、字面量等「編碼單元」而非程式碼行數,並減去被刪除的程式碼,只算淨增量。GPT-6 與 Claude 5.5 尚無公開補丁,作者在自己的訂閱上跑了 3–10 個任務,結果以淺色圓圈顯示、不參與排名。作者也歡迎提交新模型的公開補丁匯出。
OpenAI 發布 GPT-Rosalind,用於幫助科研人員跨科學文獻與生物資料進行推理,由科學家提供專業判斷來評估證據。符合條件的實驗室可獲最多 12 個月的 OpenAI 工具贊助訪問,其中 GPT-Rosalind 需通過可信訪問審批。通過 Rosalind Academic Plan 共享的研究資料預設不用於訓練模型。
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
螞蟻百靈開源 Ling-3.1-flash,主打把真實工作流裡的活幹完,而非刷榜。模型總引數約 560B、每 Token 啟用約 25B,上下文視窗達 1M;混合精度量化後權重佔用從約 534GB 降至 292GB,部署所需 GPU 由 8 卡降至 4 卡。據 Artificial Analysis,其智慧指數 41,輸出速度約每秒 210 Token,混合呼叫價格約每百萬 Token 0.19 美元,辦公任務評測 GDPVal-AA V2.1 的 ELO 為 1673。
Mistral AI 官方帳號宣布,Mistral Large 4 在 Harvey 的 Legal Agent Benchmark(LAB)中位列開源模型第一。該推文以「金球獎·法律組」的說法公布這一排名,LAB 是面向法律場景智慧體能力的評測基準。原文未給出具體分數、參評模型數量與評測細節。
一篇觀點文章主張,LLM 讓寫程式碼不再耗時,瓶頸轉為編譯重啟的反饋迴圈,基於映象的 Common Lisp 因此成為最佳語言。作者稱 Common Lisp 可即時替換函式而無需重啟,出錯時進入保留完整棧與變數的偵錯程式而非崩潰,LLM 可據此修復並繼續執行。他稱自己用 Common Lisp 寫的應用比 Python 版本短約 6 到 7 倍,token 更少;代價是 Quicklisp 僅數千個專案,標準自 1994 年未更新。
OpenAI 開發者帳號 @OpenAIDevs 發布推文,推介一款 dream logger:使用者可以把夢境講出來並儲存下來。推文正文只有這一句話,沒有給出工具名稱、開發方、可用平台、價格或上線時間,也沒有說明是否與 OpenAI 官方產品相關。
有開發者主張,訂閱制前端自帶的用量面板不足以支撐工程決策,LLM 代理應當自己託管。自建代理可在單一端點聚合多家供應商與模型,記錄哪個金鑰在何時、用哪個客戶端呼叫了哪個模型及其狀態,並用虛擬 API key 避免主金鑰散落在各類 agent 與工具中,還能快速切換模型而不必重新配置。作者不推薦具體代理服務,只建議部署在自己可控的環境並按需改造,例如增加自訂 MCP server 端點;其代理帶 API,編碼會話中的快取未命中可在約 20 秒內手工定位,也可自動化。
基於 GLM-5.3-Flash 打造的法律智慧體模型 GLM-Legal 公布評測結果:在覆蓋 24 個執業領域的 Harvey LAB 真實律所工作流嚴格全通過評分下取得 19.2%,比基座模型提升 12.5 個百分點,並在 LegalBench 與中文 PLawBench 上以更小的引數規模追平頂級閉源前沿模型。訓練上採用中期訓練加高效後訓練,讓 Harness 與模型協同迭代,並把生產端反饋轉化為訓練訊號。
llama.cpp 發布 b11597 建置:提取 pooled embeddings 的上下文不再展開 LM head,模型只宣告 t_logits,除非池化型別不是 NONE,set_outputs() 才會展開它,省去了每個 token 的 n_vocab 維 logits 計算和對應的 host buffer。改動同時新增獨立的 build_logits() 來建置 LM head,並在 build_sampling() 之前呼叫;