先了解这件事
AI 综述
月之暗面(Moonshot AI)发布并开源多模态视觉知识评测基准WorldVQA及其数据集和评测脚本。据其官方博客介绍,该基准用于衡量多模态大模型对视觉世界知识的事实正确性,数据集包含3,500个高质量图文问答对,覆盖9个类别并区分常见与长尾知识。评测结果显示,前沿模型在长尾视觉知识上常低于50%准确率,且普遍过度自信;Kimi-K2.5取得最佳校准表现,ECE为37.9%、Slope为0.550。目前该数据集与评测脚本已开源,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Kimi 发布 WorldVQA：衡量多模态大模型的原子世界知识事件进展
1 个已确认进展
- 来源：Moonshot AI · Kimi Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月9日
Moonshot AI · Kimi Blog一手
Kimi 发布 WorldVQA：衡量多模态大模型的原子世界知识
Kimi 团队发布 WorldVQA 基准，用于衡量多模态大模型对视觉世界知识的事实正确性，数据集包含 3,500 个高质量图文问答对，覆盖 9 个类别并区分常见与长尾知识。结果显示前沿模型在长尾视觉知识上常低于 50% 准确率，且普遍过度自信；Kimi-K2.5 取得最佳校准表现，ECE 为 37.9%、Slope 为 0.550。该数据集与评测脚本已开源。