llama.cpp releasesAI 評分56
llama.cpp CUDA 後端融合 FFN gate/up 矩陣乘與 GLU
llama.cpp 的 CUDA 後端把稠密 FFN 的 gate 與 up 兩次矩陣乘合併為一次 mul_mat_q 呼叫，並在寫回階段直接計算 GLU，主要加速 prompt 處理。權重按每 8 行交錯裝載，使每個執行緒同時持有 up 值與對應的 gate 值，MMA 迴圈、warp 佈局與 vec_dot 保持原樣，寫回只輸出一半行。
搜尋
找到 4 筆；也可以試試 語意搜尋
llama.cpp releasesAI 評分43
llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp releasesAI 評分46
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
機器之心● 精選AI 評分79
斯坦福博士部落格：從記憶推匯出 MLP 與自注意力
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。