llama.cpp b11531 重構 chat API,同步更新多平台建置
llama.cpp 發布 b11531,主要變更是重構 chat API(#30210)。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。
找到 32 筆
llama.cpp 發布 b11531,主要變更是重構 chat API(#30210)。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。
llama.cpp 發布建置版本 b11734,本版列出的程式碼變更是重構 CANN 相關的 #ifdef 條件編譯塊,避免 return 之後出現不可達程式碼(PR #25273)。
llama.cpp 建置 b11897 重構 test-llama-archs 測試,使其能在 Windows 共享庫建置下編譯執行:該測試原先直接引用 src 內部標頭檔案,呼叫的符號未從 DLL 匯出。現在 llama-ext.h 這個過渡標頭檔案裡新增 llama_arch_* 包裝函式,以及 llama_arch_kv_name() 和 llama_arch_supports_save();
llama.cpp 發布建置 b11687,核心改動是重構 ggml-cpu 的 s309x repack 輔助函式(PR #30588)。同批預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被標記為 DISABLED。
llama.cpp 發布建置版本 b11867,核心變更是重構 server 入口(#31113)。該版本繼續提供 macOS Apple Silicon、Ubuntu CUDA 12/13、ROCm 10.0、Vulkan、SYCL、Windows arm64 CUDA 等預編譯包,其中 macOS Apple Silicon 的 KleidiAI 版本與 openEuler 建置處於 DISABLED 狀態。
llama.cpp 發布 b11399 版本,主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED,openEuler 建置同樣被停用。
llama.cpp 發布 b11439 版本,把 selective expert copying 從 ggml 內部重構到使用者程式碼,並將兩個模型納入 selective expert copy 測試,測試模型選用 deepseek2,改動由 Georgi Gerganov 等人共同提交,同時修正了 ggml-backend.h 的註釋與空白。
llama.cpp 重構了 Intel XMX 矩陣引擎上的多列 mul_mat_vec_q,並新增融合 gate/up 核心:一次啟動即算出 up*act(gate),最多支援 16 列。多列路徑覆蓋 2 到 80 列啟用,面向投機解碼驗證(每步 2 到 8 個 token)與 9 到 80 token 的短 prompt 批次。
llama.cpp 發布建置 b11680,Hexagon NPU 後端完成張量重打包(repacking/tiling)重構:新增對分塊與扁平量化權重、以及 F16/F32/BF16 二維權重的重打包支援,分塊 Q5_K 與原始 k-quant 張量可用 GET_ROWS。該版本移除了 need_repack hack,並清理 matmul、反量化 ukernel、張量介面與 L2/dcache 重新整理邏輯,最佳化小 src1 的 get-rows 效能。
AT&T 正與 OpenAI 合作,讓內部法務團隊 LegalEdge 更容易獲取法律知識,並重新設計法律需求的受理(intake)流程、把法律判斷規模化。官方未披露所用模型、部署規模與時間表,僅說明這是對法務工作方式的重思。
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀,改為在 KV cache 單元上按 [n_kv, n_tokens] 建置,到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局(例如按序列的行列表),不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。
Dharma-AI 團隊用名為 VocabX 的方法在不更換基座模型的前提下,把生產環境中的實測推理成本降低 77%。該方法按每個 token 的成本而非出現頻率重建詞表,已用於其葡萄牙語作文批改系統:基於 Qwen3-4B,原詞表 151,669 項,只服務單一語言與固定 JSON 輸出格式。
清華 AIR 孵化的紫荊智康發布醫學多分身智慧體協同技術,並升級紫荊 AI 醫院,讓不同專科的 AI 醫生分身參與同一位患者的診療。系統支援按需提醒和會診兩種協同模式,分身意見不一致時會高亮分歧供醫生判斷,而非強行統一。截至 2026 年 7 月,系統已建置 54 位 AI 醫生和數百萬超擬真 AI 患者,覆蓋數千種疾病;北京清華長庚醫院 18 個臨床科室開展門診測試,40 餘名醫生常態化使用,診療效率提升 30%,AI 醫生在 MedQA 準確率超 96%。
OpenAI 在官方案例中說明,其工程師使用 Codex Ultrafast 做事故調查,把此前需要數小時的過程縮短到幾分鐘。該工具同時用於加快安全分析與程式碼重構,並進入工程師的日常開發流程,屬於 OpenAI 內部的一手使用經驗。原文未提到 Codex Ultrafast 的模型版本、呼叫額度、價格與對外開放時間。
llama.cpp 發布建置 b11852,唯一程式碼改動是把多模態模組 mtmd 中的 build_inp_temporal_merge 上移到基類,屬於內部重構,發布說明未提及行為或效能變化。
llama.cpp 建置 b11945 加入 LiquidAI d1-2B 與 d1-omni-2B 兩個模型的推理支援,其中 d1-omni-2B 為多模態版本。轉換指令碼同步調整:d1 的 GGUF 不再包含語音任務模板,另有一處 no_batching 的小重構。
llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援,並對兩者做了最佳化,還重構了 tiled topk kernel。這批改動隨建置 b11874 發布,覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包,含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。
llama.cpp 建置 b11596 將 test-save-load-state、test-recurrent-state-rollback、test-state-restore-fragmented 三項上下文狀態測試合併為單一二進位制 test-llama-context,一次執行覆蓋 130 多個模型。
llama.cpp 發布 b11907 建置,把 hyper-connection 與 DSA 圖建置器原先通過 ggml_tensor** 輸出引數寫出的額外輸出(post/comb gates、保留的 top-k 選擇、inject gates)改為與主輸出一起放進一個小結構體返回。這是一次介面層面的改動,呼叫這些圖建置器的程式碼需要同步調整。
MLX 發布 v0.31.2,新增 Gemma 4 模型支援及其工具呼叫解析器,並加入 Nemotron super 支援。本次更新為非可裁剪快取引入系統提示與使用者訊息快取,重構批次生成器,修復推測解碼輸出損壞、GatedDeltaNet 快取記憶體洩漏等問題,同時新增伺服器 --allowed-origins 引數。
YC 孵化的 BI 公司 Evidence 正在招聘一名軟體工程師,工作地點在多倫多、全職,崗位橫跨 Evidence Core 與 Evidence Studio,從查詢引擎一直到 agent harness,並與創始人直接共事。公司表示正在重構開發流程,目標是讓 agent 承擔軟體生命週期的絕大部分工作,使人專注於判斷力、創造力和產品思考。
Kimi 開源最新模型 K2.6,主打編碼、長程執行與 agent swarm,已上線 Kimi.com、App、API 和 Kimi Code。官方稱其在 Mac 上本地部署 Qwen3.5-0.8B 並用 Zig 實現推理最佳化,經 4000+ 次工具呼叫、12 小時、14 輪迭代,吞吐從約 15 提升到約 193 tokens/s,比 LM Studio 快約 20%;另以 13 小時重構 8 年曆史的 exchange-core,中等吞吐提升 185%。
蘋果把 AI 助手加入 Keynote、Pages、Numbers 三款生產力應用,該助手基於蘋果與 OpenAI 的模型,能理解文件上下文。在 Keynote 中,它可設計、新增動畫與潤色幻燈片;在 Pages 中,它可起草、重構和調整文字;在 Numbers 中,它可計算、視覺化並整理資料,還能建議圖表型別、建置自訂表格。三款應用在 macOS 27 及以上版本支援 Model Context Protocol,第三方 AI agent 可接入。
llama.cpp 建置 b11934 最佳化了測試流程,重構 save_models 使其只建立模型而不再建立儲存時用不到的 llama_context,並用 splitmix64 加 Box-Muller 生成器替換較慢的 std::normal_distribution 抽樣。張量資料改為用 std::mt19937 預先生成一組正態抽樣池,各張量按名稱迴圈取切片,保證結果確定;每次儲存模型後還會輸出檔名、目標路徑與位元組/MB 體積。
Thomson Reuters 一位首席工程師在喜馬拉雅山麓斷網實測:用開源 coding agent OpenCode 1.19.4 連線 Ollama 本地執行的 Qwen3.5 9B,可完成解釋函式、排查失敗測試、重構和補功能,配置遮蔽了聯網工具、改檔案與跑命令前仍需確認。Qwen3.5 9B 下載體積 6.6–7.6 GB,建議預留 12–16 GB 記憶體,64k 上下文配置還要更多餘量;
Mistral 為一家歐洲能源運營商將 4 萬行 Fortran 77 編寫的油藏模擬器遷移到 C++,該程式碼庫沒有測試套件和集中文件。做法是先建置數值一致性校驗框架,再用 Vibe CLI 排程上百個 agent 逐節點生成文件並提交 PR,由審查 agent 定時複核。首次嘗試讓 agent 完全自主翻譯,結果只是把 Fortran 按 C++ 語法重寫,COMMON 塊和 GOTO 控制流原樣保留,未實現真正的現代化重構。
Chatham Financial 公布其使用 OpenAI Codex 與 GPT-5.6 重構資本市場工作流的進展,交易驗證時間從約 30 分鐘縮短至 4 分鐘以內。該應用由 Codex 開發,自動收集交易證據、比對關鍵條款並標記差異,目前仍在與資深稽核人員的真實交易結果做對照驗證。公司內部員工建置平台 Chatham Vibes 預設使用 GPT-5.6 Terra,可選升級 GPT-5.6 Sol;
OpenCode 2.0 是一次大規模重構,核心新功能是 Code Mode:用 @opencode/codemode 包內建的極簡 JavaScript 直譯器,把 MCP 伺服器與 OpenAPI 端點轉成代理可呼叫的函式,2.0 中所有 MCP 伺服器預設啟用 Code Mode,一次指令碼就能串起多個工具呼叫,減少往返。服務端也改為在本地自動以單一後臺程序執行,TUI、Web 與桌面端共用同一程序,並推出 @opencode/client 客戶端包與從頭重寫的 API。
Karpathy 表示,與 LLM 協作時一個有用的模式是進行長時間語音漫談。當 LLM 需要更多資訊才能理解目標、而打字又太麻煩時,他會切換到 /voice 語音模式,用約 10 分鐘進行雜亂無章的意識流表達,有時會提前宣告「切換到語音識別,抱歉有錯別字」,有時則變成幾輪小訪談。他認為 LLM 很擅長重構冗長不連貫的漫談,其回顯往往比原始想法更清晰,從而改善心智融合、減少後續糾正。
一位工程師復盤:Codex 把約 30 行的 App.tsx 寫成 15 個各佔一行的完整元件,CI 被 SonarQube 的圈複雜度規則攔下。他逐行審查後確認邏輯正確、複雜度確有業務依據,只是略顯過度設計,於是讓 Codex 自行重構拆成 10 個檔案,CI 通過併合入。作者由此提出,維護系統將不再依賴親手寫過程式碼,而取決於是否具備「看出哪裡不對、必要時深挖」的判斷力;代理產出速度遠超人類消化速度,失序會隨之下潛深度放大。
由億邦動力主辦的第八屆億邦產業網際網路年會暨首屆產業智慧體大會定檔 11 月 20 日,在北京國貿大酒店舉行,主題為“AI 與出海帶來的模態進化”。本屆將產業智慧體大會與已辦八屆的年會合並,設產業智慧體落地、AI 供應鏈價值重構、資料要素與 TOKEN 經濟、產業出海新生態等五大議題,同期發布《2026 億邦產業網際網路發展報告》與《千峰獎·模態進化案例集》。
一位開發者撰文稱,AI 輔助程式設計(vibecoding)只把樂趣前置:能快速做出可用原型,但重構和維護階段不再有趣,也缺少手寫程式碼帶來的成就感。他把建造的樂趣分為六種,認為 vibecoding 只能滿足「想到點子」「把點子變成現實」和「解決自己的問題」三類,攻堅後的成就感、作品完成的滿足感與學習樂趣都不會自然產生。他仍用 AI 做出了一些手工做不出來的東西,包括即時野火預警系統、Kobo 資料庫遷移助手和即時音準訓練應用,但表示過程不像自己寫小指令碼那樣好玩。