llama.cpp 對 MoE amax 架構停用 -sm tensor 張量拆分
llama.cpp 建置 b11858 起,對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分(#31081):amax 的 POOL_1D 歸約跨越整個 matmul 行,單個裝置無法從 axis-0 拆分中算出結果,因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
依意思最接近的 7 筆
llama.cpp 建置 b11858 起,對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分(#31081):amax 的 POOL_1D 歸約跨越整個 matmul 行,單個裝置無法從 axis-0 拆分中算出結果,因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
llama.cpp 建置 b11866 在 Metal 後端移除了 kernel_mul_mm_id 中對 src1 的二次冪重縮放。這項縮放已經被計算圖中按 expert-token 執行的 amax 縮放(#30861)取代,後者能在運算元執行之前把 MoE 下投影啟用維持在 f16 範圍內。
llama.cpp 發布 b11912 建置,為 Laguna 模型啟用 MoE amax 重縮放,並宣告 Laguna SM 張量支援,主要是針對該模型的推理適配。此次同時更新了各平台預編譯包,覆蓋 macOS Apple Silicon、iOS、Windows 與 Linux 的 CUDA、Vulkan、ROCm、SYCL 等後端,並新增 arm64 CUDA 13 與 Snapdragon NPU 建置。
doubleAI 發布 Maxwell,稱其為介於程式碼與硬體之間的 Code Execution Model,能在程式執行過程中加速程式碼,且不修改任何一行原始碼。它通過 trace、profiling 資訊和流經程式的資料觀察程式,並動態適配硬體、同機其他負載與輸入形態。目前已在 heymaxwell.ai 開放早期訪問。團隊認為,針對每種硬體和資料流反覆重新最佳化(如 vLLM 這類 LLM 推理引擎)不可擴充套件。
llama.cpp 發布 b11804 建置,為 OpenCL 後端新增 F32→I32 的 ARGMAX 運算元(#30897),並把 OpenCL 初始化改為置 0,與 CPU 後端保持一致。該提交有高通工程師參與協助。同版本預編譯包覆蓋 macOS/iOS、Linux、Android 與 Windows,含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端;
llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子:沿中間維做 POOL_1D 最大值歸約得到縮放量,輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理,沿 axis 0 切分時變成各裝置複製的部分結果,從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回,並清理註釋。
OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。