AISpot

搜尋

依意思最接近的 7 筆

llama.cpp releasesAI 評分41

llama.cpp 為 Laguna 模型啟用 MoE amax 重縮放

llama.cpp 發布 b11912 建置,為 Laguna 模型啟用 MoE amax 重縮放,並宣告 Laguna SM 張量支援,主要是針對該模型的推理適配。此次同時更新了各平台預編譯包,覆蓋 macOS Apple Silicon、iOS、Windows 與 Linux 的 CUDA、Vulkan、ROCm、SYCL 等後端,並新增 arm64 CUDA 13 與 Snapdragon NPU 建置。

Hacker News front pageAI 評分41

doubleAI 發布 Maxwell:位於程式碼與硬體之間的執行模型

doubleAI 發布 Maxwell,稱其為介於程式碼與硬體之間的 Code Execution Model,能在程式執行過程中加速程式碼,且不修改任何一行原始碼。它通過 trace、profiling 資訊和流經程式的資料觀察程式,並動態適配硬體、同機其他負載與輸入形態。目前已在 heymaxwell.ai 開放早期訪問。團隊認為,針對每種硬體和資料流反覆重新最佳化(如 vLLM 這類 LLM 推理引擎)不可擴充套件。

llama.cpp releasesAI 評分41

llama.cpp b11804 為 OpenCL 後端補上 ARGMAX 運算元

llama.cpp 發布 b11804 建置,為 OpenCL 後端新增 F32→I32 的 ARGMAX 運算元(#30897),並把 OpenCL 初始化改為置 0,與 CPU 後端保持一致。該提交有高通工程師參與協助。同版本預編譯包覆蓋 macOS/iOS、Linux、Android 與 Windows,含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端;

llama.cpp releasesAI 評分43

llama.cpp 按專家 token 縮放 MoE 下投影,並支援張量並行

llama.cpp 建置 b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子:沿中間維做 POOL_1D 最大值歸約得到縮放量,輸出端再用同一 2 的冪因子還原。同時在 Meta 的 split-state 邏輯中加入 POOL_1D 處理,沿 axis 0 切分時變成各裝置複製的部分結果,從而支援張量並行。該提交還把 amax src1 縮放結果改為通過結構體返回,並清理註釋。

機器之心AI 評分42

OpenAI 將 RSI 列為戰略目標,MemoraX 展示記憶驅動自進化

OpenAI 於 9 月 21 日發布官方戰略宣告,把自動化 AI 研究員與遞迴自我改進(RSI)列為下一階段重要目標,並計劃在 2028 年 3 月前打造真正的自動化 AI 研究員;Anthropic 同期披露,截至 8 月 Claude 已在約 26% 的內部 AI 研發工作中承擔主導角色。