llama.cpp b11460:SYCL 後端新增 IQ3_S 多列 MMVQ
llama.cpp 發布建置 b11460,SYCL 後端新增 IQ3_S 的多列 MMVQ 支援(PR #29500)。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
依意思最接近的 8 筆
llama.cpp 發布建置 b11460,SYCL 後端新增 IQ3_S 的多列 MMVQ 支援(PR #29500)。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包,其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。
微軟發布第三代自研 AI 晶片 Maia 300,將其定位為微軟產品與服務的主要 AI 推理系統,計劃 2027 年開始投入生產部署。微軟雲業務執行副總裁 Scott Guthrie 表示,相比主流的 GPU 系統,Maia 300 每兆瓦可多輸出 40% 的 token,並更能應對最新的推理模型與 agentic 任務。該晶片的設計目標是提升雲端 AI 工作負載的成本與效率,減少對 Nvidia GPU 的依賴。
llama.cpp 的 SYCL 後端為 IQ3_S/IQ3_XXS 加入持久化權重重排,在 Intel Arc Pro B70 上解碼速度最高提升 82%。權重在載入時只重排一次,MMVQ 點積改用 dp4a 與 SWAR 符號擴充套件遍歷稠密超級塊,重排感知的反量化也接入批次 prefill 的 GEMM。
有使用者報告,用 Strata 執行 Qwen3.8 Next 的 IQ3_XXS 權重(接近 80GB),在 DDR4 記憶體加 7900XTX 的慢速平台上穩定達到 45-70 token/s,編碼時因 mtp 有時更高。同一臺機器上經調優的 llama.cpp 最高約 22.5t/s,且該使用者認為品質明顯更好,但不推薦 Q2 權重。12GB 和 16GB 顯示卡使用者有類似結果,DDR5 平台則顯著更快。
愛爾蘭一所公立繼續教育學院的教師發帖,稱已獲得資金建成一個小型 AI 實驗室,硬體配置尚可,目標是讓學生學到使用 ChatGPT 之外的實用技能,因此向社群徵集教學方向建議。帖子未透露具體硬體型號、課程安排或學生人數。
一名使用者為 Qwen3.8 27B 搭建 RAG 搜尋節點,在 AliExpress 購買迷你主機,商家標稱 Intel N150 與 DDR4/DDR5,實際發貨為 2018 年的 Core i3-7020U(2 核 4 執行緒)加 DDR3 1600MHz。賣家還把 New_N150 寫進 BIOS 版本字串偽裝型號。該主機效能不足以支撐向量檢索,使用者已發起信用卡拒付。
阿里 Qwen 宣布,Qwen3.8-Max、Qwen3.8-Flash 與 Wan3.0 在 GMI Cloud 上限時免費開放一週,活動已經上線。開發者可在此期間免費呼叫這三款模型進行建置與測試,官方在推文中邀請開發者探索可行的用法。
AI 實驗室 Third Moment Research 藉助 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 與 Codex,可同時執行 1 萬個 agent,單次自主研究持續 36–48 小時。Codex 曾定位量化回測瓶頸並部署快取與記憶體打包最佳化,把一年美股訂單級資料的回測從約 3 小時縮短到 3–5 分鐘,回測時間減少 97%。