AISpot

Kimi 發布 PerceptionBench,16 個前沿多模態模型準確率均不足 60%

Kimi blog官方公告研究

Kimi 團隊發布 PerceptionBench,這是從 42 個現有基準中的真實模型失敗裡歸納出視覺感知能力的評測集,包含 10 類原子感知能力:視覺關係、計數、屬性、深度與 3D、定位、比較、細粒度識別、上下文整合、OCR 與幻覺;共 3000 道經驗證題目,只需看圖即可作答,不依賴推理或外部知識。在 16 個前沿多模態大模型上,沒有一個模型準確率達到 60%,感知相關的幻覺平均是最弱項,總分接近的模型在實際感知內容上也可能差別很大。

它把「看不看得準」從推理與知識中剝離出來單獨測量,用模型真實失敗反推 10 類原子能力;16 個前沿 MLLM 全部低於 60% 的結果,對評估多模態模型實際感知短板的人很有參考價值。

原標題:PerceptionBench: Evaluating Atomic Visual Perception in MLLMs
閱讀原文

評分76 / 75(平均 75,門檻 60)
狀態精選

相關報導

Kimi blog● 精選AI 評分72

Kimi 開源 WorldVQA 基準,評測多模態模型視覺世界知識

Kimi 團隊開源 WorldVQA 基準,用 3500 組圖文問答檢驗多模態大模型是否真的認出了圖中的實體,而不是僅憑視覺模式猜測。資料集覆蓋 9 大類,中文佔 36%、英文佔 64%,並把常見知識與長尾知識分開統計;結果顯示,前沿模型在長尾題上的準確率常常低於 50%。校準實驗還發現,各模型普遍過度自信;其中表現最好的 Kimi-K2.5,其 ECE 仍達 37.9%,Slope 為 0.550。

Kimi blog● 精選AI 評分93

Kimi K2.5 發布:開源原生多模態,支援 100 個子智慧體

Kimi K2.5 發布,官方稱其為迄今最強開源模型,原生多模態,在 K2 基礎上用約 15T 視覺與文字混合 token 繼續預訓練。其 Agent Swarm 可自行組織最多 100 個子智慧體、執行最多 1500 次工具呼叫,相比單智慧體執行時間最多縮短 4.5 倍。模型已上線 Kimi.com、App、API 和 Kimi Code;

Kimi blog● 精選AI 評分93

Kimi K3 發布:2.8T 引數開源模型,支援百萬 token 上下文

Kimi 發布最強模型 Kimi K3,引數規模 2.8T,具備原生視覺與 100 萬 token 上下文,並稱其為全球首個開源的 3T 級模型。官方承認整體效能仍落後於 Claude Fable 5 與 GPT 5.6 Sol,但在自家評測中穩定優於其他被測模型。該模型即日上線 Kimi.com、Kimi Work、Kimi Code 與 Kimi API,預設使用最高思考強度;完整權重將於 2026 年 7 月 27 日前開放。

Kimi blog● 精選AI 評分90

Kimi 開源 K2.6:主打長程編碼與 Agent 叢集

Kimi 開源最新模型 K2.6,主打編碼、長程執行與 agent swarm,已上線 Kimi.com、App、API 和 Kimi Code。官方稱其在 Mac 上本地部署 Qwen3.5-0.8B 並用 Zig 實現推理最佳化,經 4000+ 次工具呼叫、12 小時、14 輪迭代,吞吐從約 15 提升到約 193 tokens/s,比 LM Studio 快約 20%;另以 13 小時重構 8 年曆史的 exchange-core,中等吞吐提升 185%。

機器之心● 精選AI 評分66

浙大等發布 WorldMemBench,評測影片世界模型記憶

浙江大學、復旦大學、螞蟻集團與南京大學團隊推出 WorldMemBench,用可控的“離開—回訪”鏡頭評測影片世界模型的記憶。基準含 260 個案例、23 個內容類別,分靜態記憶、動態記憶及影片品質、相機跟隨四個維度,測試了 HY-WorldPlay、LingBot-World 等九個模型。結果顯示靜態與動態記憶的強項分化:HY-WorldPlay 七項靜態指標全部領先,LingBot-World 動態記憶總分最高;