llama.cpp b11884 修復 DRY 取樣耗盡 CPU 與記憶體
llama.cpp 發布 b11884 建置,修復 DRY 取樣(dry sequence breaker)導致 CPU 與記憶體被耗盡的問題,對應 PR #31035。
依意思最接近的 9 筆
llama.cpp 發布 b11884 建置,修復 DRY 取樣(dry sequence breaker)導致 CPU 與記憶體被耗盡的問題,對應 PR #31035。
Sam Altman 在 Cheeky Pint 訪談中表示,個人把全球有限的 DRAM 留在自己電腦裡、只使用 5% 的時間,從全球分配角度看相當糟糕,雲端最大化利用率才是解法。他提到 OpenAI 獲准買下全球 40% 的 DRAM 產量,而美光已宣布退出消費級記憶體生產。OpenAI 還在自研代號 Jalapeno 的 AI 晶片,稱該晶片由 AI 為 AI 設計。
llama.cpp 發布建置 b11472,對符合條件、溫度為零的取樣鏈改用貪心選擇,CPU 與 grammar/reasoning-budget 路徑共用同一套貪心判定;動態溫度和顯式請求機率的場景仍保留分佈取樣,最終 top-k 且 k=1 之後也走貪心。改動由 Georgi Gerganov 參與,OpenAI Codex 協助,並在現有 sampler 測試中覆蓋常見取樣器選擇與機率行為。
llama.cpp 合併 PR #27694,為 simple draft 與 MTP 推測解碼引入機率取樣:草稿端按機率取樣,目標模型用拒絕取樣驗證,並修復草稿取樣器與目標模型共用 RNG 流等問題。新增開關控制機率草稿取樣,預設仍為貪心;語法約束請求回退到 argmax,同時支援在拒絕取樣中處理語法約束。改動由 NVIDIA 工程師參與提交,隨各平台建置一同發布。
螞蟻靈矽大模型應用平台團隊開源自動最佳化框架 AntOmniEvo,使用者只需提供可修改的檔案目錄、評估資料、打分標準和系統定義,框架就會驅動 coding agent 在「改檔案—打分」迴圈中 7×24 迭代。核心演算法 Mara Chain 讓未達標的候選帶著診斷記錄繼續修復,配合逐題 Pareto 過濾,避免過早淘汰有潛力的候選。
近期出現一批極窄用途的推理執行時,包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等。它們刻意放棄 llama.cpp 與 vLLM 擅長的通用性,只針對少數模型甚至單一硬體家族(如 Strix Halo)做最佳化。作者認為通用執行時負責相容、過擬合執行時負責極致效能將成為常態,並有助於智慧的民主化與去中心化,讓現有硬體在特定配置下榨出最大輸出。
OpenAI CEO Sam Altman 在 2026 年 10 月 1 日發帖表示,使用者應當能夠在任何需要的地方使用自己的 AI 訂閱。該表態未說明具體產品、實施方式或時間表,也未提及是否涉及跨平台或第三方應用。
Napster 聯合創始人 Sean Parker 正把 Stability AI 重塑為面向音樂專業人士的 AI 工具公司。兩年前他參與 8000 萬美元救助這家瀕臨崩潰的影像生成初創公司,如今與 CEO Prem Akkaraju 公布新方向。8 月底公司宣布獲得 7600 萬美元融資,投資方包括索尼、華納和環球,三家還授權曲庫用於訓練。
阿里巴巴開源智慧體沙箱 OpenSandbox 正式被國際 AI 開源技術組織 AAIF 收錄,成為首個由中國企業主導進入該體系的專案,同批次入選的還有 Agent Skills。OpenSandbox 將伺服器資源切分為多個沙箱隔離執行智慧體,兼顧啟動延遲、批次吞吐與資源開銷,並支援審計追蹤;阿里內部日均建立沙箱已達百萬量級,2025 年 11 月開源後已有 582 名開發者參與共建。