llama.cpp b11460:SYCL 後端新增 IQ3_S 多列 MMVQ
llama.cpp 發布建置 b11460,SYCL 後端新增 IQ3_S 的多列 MMVQ 支援(PR #29500)。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
依意思最接近的 14 筆
llama.cpp 發布建置 b11460,SYCL 後端新增 IQ3_S 的多列 MMVQ 支援(PR #29500)。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
一項新論文評估了 LLM 能否替代人類做機器翻譯品質評估,結論是人類和模型在這項任務上都不輕鬆。研究針對 MQM(多維品質指標)與 ESA(錯誤跨度標註)兩套主流方案,將模型的標註結果與人類標註者的一致性進行對比。作者指出,機器翻譯評估涉及大量語言對、領域和不同標註粒度,LLM 只有在這些維度上被充分檢驗,才談得上作為人工評估的替代方案。
llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ,為部分 MoE 架構帶來提速,例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%,並指出僅對部分 MoE 架構有效。
8 月低調上線的 AI agent 產品 Instinct 靠簡訊式互動走紅,能代訂 DMV 預約、傳送跟進郵件,如今正面臨 Muse 與 Dots 的夾擊。Instinct 採用僅限邀請、不做營銷、幾乎不設官網的推廣方式,仍迅速成為 AI 圈最受關注的產品之一。隨後兩家實力強得多的公司先後推出功能大致相同的 Muse 和 Dots,這家初創公司能否延續熱度被打上問號。
阿里通義千問官方帳號 @Alibaba_Qwen 發布推文,向 @gmi_cloud 表示感謝。原文只有一句致謝,未說明雙方合作內容、涉及的具體模型或產品,也沒有給出時間、價格、額度等資訊。
llama.cpp 建置版本 b11517 發布,其中 CUDA 後端將 src1 精度顯式傳遞給主機端的 MMQ 配置輔助函式(PR #30168,作者來自 NVIDIA),屬於量化矩陣乘效能/正確性相關的底層調整。
Google Cloud 開源參考實現 AQuA(Ambient Quality Agent),用於持續診斷已在生產環境執行的 AI agent 的品質問題。它與生產 agent 並排執行,掃描失敗聚類並對照對話記錄逐條驗證,再把根因定位到當時實際部署的原始碼快照。它針對的場景是:agent 做到 80% 之後難以繼續改進,且靜默的品質回退仍然返回 HTTP 200 OK。
a16z 第七版《百強 AI 消費者應用》報告首次新增月收入榜單,Meshy 位列第 31 名,是榜上唯一的 AI 3D 公司。該榜單依據資料分析公司 YipitData 追蹤的美國消費者銀行卡消費資料排名,同榜還有 OpenAI、Anthropic、Canva、Superhuman、Higgsfield。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
AI 3D 生成公司 Meshy 披露,其 ARR 從 100 萬美元增長至 1 億美元,用時不到兩年,比 HeyGen 的 29 個月更快。Meshy 7 在自建幾何對齊基準中造型比例、空間分佈、表面細節三項指標領先受測模型,7.1 將幾何生成解析度從 2048³ 提升至 4096³。三七互娛已將其接入生產流程,基礎模型階段雕刻工作量減少 30% 至 40%。
llama.cpp 合併 PR #29483,為 WebGPU 的 MMVQ 路徑新增 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 和 MXFP4 量化支援,併為 Q1_0 引入 K_QUANTS_HANDLING 宏。該改動擴充套件了 WebGPU 後端可加速的量化模型範圍,相關建置覆蓋 macOS、Linux、Windows、Android 及 openEuler 等多個平台。
獨立研究者 10 月 5 日發布初步發現,追蹤到一批並行的 AI agent,疑似執行在騰訊的基礎設施上,目標指向阿里巴巴的高德地圖服務,查詢內容為公園、動物園、醫院等公共場所不同入口的路線。研究者拒絕使用 swarm 一詞,稱應叫 agent fleet:多個 agent 執行同類任務,彼此之間沒有通訊跡象。這些活動是通過監控域名掃描服務 URLquery 的流量發現的,該服務常被 agent 用來載入無法直接訪問的網站並留下記錄;研究仍在進行中。
llama.cpp 建置版本 b11541 在 OpenCL 後端新增兩個 MoE 矩陣乘二進位制核心:kernel_gemm_moe_q4_k_q8_1_dp4a_bin 與 kernel_gemm_moe_q6_k_q8_1_dp4a_bin,分別處理 Q4_K、Q6_K 量化權重搭配 Q8_1 啟用的乘法,並用 dp4a 整數點積指令加速。這類核心主要服務於在 Adreno GPU 等 OpenCL 裝置上執行 MoE 量化模型的場景。
llama.cpp 合併 PR #28479,為 SpacemiT X60 新增 Q8_0 的 IME1 矩陣核心與 repack 路徑。此前該平台 IME 加速只覆蓋 Q4_0/Q4_1/Q4_K,且建置時 GGML_CPU_REPACK=OFF,Q8_0 無加速路徑,prefill 比 Q4_0 慢約十倍。