機器之心● 精選AI 評分76
VLM 中間層隱空間存在可提取的三維場景拓撲
匹茲堡大學研究發現，視覺語言模型（VLM）的中間層隱空間保留了可提取的三維場景拓撲。研究先用物體掩碼聚合視覺標記，再通過跨場景平均剔除顏色、形狀等身份屬性；處理後，中間層的 PCA 佈局與真實場景最吻合，相鄰物體的表徵能量比也更低。把 Dirichlet 能量加入微調目標，並在中間層做 500 步 LoRA 後，Qwen2.5-VL-7B 在 VSI-Bench 簡單相對方向任務上的準確率從 47.9% 升到 60.0%。