找到 4 筆；也可以試試 語意搜尋
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
匹茲堡大學研究發現，視覺語言模型（VLM）的中間層隱空間保留了可提取的三維場景拓撲。研究先用物體掩碼聚合視覺標記，再通過跨場景平均剔除顏色、形狀等身份屬性；處理後，中間層的 PCA 佈局與真實場景最吻合，相鄰物體的表徵能量比也更低。把 Dirichlet 能量加入微調目標，並在中間層做 500 步 LoRA 後，Qwen2.5-VL-7B 在 VSI-Bench 簡單相對方向任務上的準確率從 47.9% 升到 60.0%。
Strands Labs 開源了 2B 引數的決策模型 Strands Decider 2B，權重已上 Hugging Face，訓練資料與指令碼一併公開。它基於 Qwen3.5-2B 去掉 LM head、換成約百萬引數的 pointer head 並加 rank-16 LoRA 微調，只能從給定選項中作答或打分，因此不支援編碼、聊天與摘要。
何愷明團隊發布 NAT-ARC，用 ImageNet 上 MAE 預訓練的視覺編碼器解 ARC 抽象推理題，最佳單模型（0.6B 引數）在 ARC-1 上 pass@2 達 63.4%，整合後 70.2%。該方法不依賴 LLM，預訓練階段不使用 ARC 格子，僅複用 MAE 公開 checkpoint，測試時對每題做 LoRA 微調。論文稱這是純視覺方案首次逼近專用 LLM 系統水平，並顯示預訓練打通了視覺路線的 scaling 瓶頸。