Kimi blog● 精選AI 評分72
Kimi 開源 WorldVQA 基準，評測多模態模型視覺世界知識
Kimi 團隊開源 WorldVQA 基準，用 3500 組圖文問答檢驗多模態大模型是否真的認出了圖中的實體，而不是僅憑視覺模式猜測。資料集覆蓋 9 大類，中文佔 36%、英文佔 64%，並把常見知識與長尾知識分開統計；結果顯示，前沿模型在長尾題上的準確率常常低於 50%。校準實驗還發現，各模型普遍過度自信；其中表現最好的 Kimi-K2.5，其 ECE 仍達 37.9%，Slope 為 0.550。