产品介绍

MMBench是一个专注于评估视觉语言模型（VLM）能力的综合性平台，旨在为研究人员和开发者提供一个高效、可靠的评估工具。随着指令微调技术的发展，如何有效评估这些模型的多种能力变得尤为重要。

主要特点

• 评估维度：MMBench基于感知和推理逐步细化评估维度，涵盖约3000道多项选择题，涉及物体检测、文本识别、动作识别、图像描述、关系推理等20个细化评估维度。
• 更强的评估方法：通过重复相同的多项选择题并打乱选项，模型提供一致答案的情况下被视为通过评估。与传统的单次顶级准确率评估相比，平均准确率下降10%至20%，从而减少噪声对评估结果的影响，确保结果的可重复性。
• 循环评估的原始问题：通过循环评估的方式，模型需要在不同的选项排列中保持一致的回答，以验证其准确性。
• 更可靠的模型输出提取方法：通过与ChatGPT的匹配，即使模型的输出不符合指令，也能准确匹配到最合理的选项。该方法通过提供问题、选项和答案，帮助用户找到最相似的选项。
• 项目贡献者：该项目由多个知名学术机构共同贡献，包括上海人工智能实验室、南洋理工大学、中国香港中文大学、新加坡国立大学和浙江大学等。

MMBench不仅为研究人员提供了一个强大的工具，也为多模态模型的评估提供了标准化的框架，帮助用户更好地理解和优化他们的模型。