Kimi 團隊開源 WorldVQA，評測多模態模型視覺世界知識

Kimi blog10/2 22:11官方公告研究開源

Kimi 團隊發布 WorldVQA 基準，用 3500 組圖文問答、9 個類別評測多模態大模型的視覺世界知識，並區分常見與長尾知識。前沿模型在長尾視覺知識上準確率常低於 50%。所有被測模型都過度自信，表現最好的 Kimi-K2.5 的 ECE 為 37.9%、Slope 為 0.550；資料集與評測指令碼已開源。

這是可直接下載使用的開源基準與評測指令碼，能幫你檢驗本地跑的開源多模態模型是否在認圖上胡編，並按校準指標而不是隻看準確率來挑模型。