FlagevalMM

FlagEvalMM是由北京智源人工智能研究院开发的开源多模态模型评测框架，旨在对处理文本、图像、视频等多种模态的模型进行全面评估。该框架通过解耦评测与模型推理的设计，实现了对视觉语言模型、文生图、文生视频以及图文检索等多类型模型的统一评测流程，从而显著提升了评测效率，并便于快速适配新任务与新模型。 FlagEvalMM具备强大的多模态模型支持能力，能够评估视觉问答（VQA）、图像检索及文本到图像生成等多种任务。它提供了全面的基准测试和评估指标体系，覆盖常用及新兴评估标准，以实现对模型性能的精准衡量。此外，框架集成了丰富的模型库（model_zoo），涵盖QWenVL、LLaVA等流行多模态模型，并兼容基于API的模型如GPT、Claude、HuanYuan等。同时，FlagEvalMM支持多种后端推理引擎，例如VLLM、SGLang等，以满足不同应用场景的需求。 技术上，FlagEvalMM采用了评测与模型推理分离的设计理念，使评测框架不受模型更新影响，增强了灵活性与可维护性。其统一的评测架构减少了代码冗余，提高了复用率。框架还通过插件化设计允许用户自定义扩展支持的模型、任务及评估指标。此外，适配层机制确保了不同后端引擎间的平滑切换。 FlagEvalMM的GitHub仓库地址为：[https://github.com/flageval-baai/FlagEvalMM](https://github.com/flageval-baai/FlagEvalMM)。