新智元报道
编辑：LRST
【新智元导读】VQAScore是一个利用视觉问答模型来评估由文本提示生成的图像质量的新方法；GenAI-Bench是一个包含复杂文本提示的基准测试集，用于挑战和提升现有的图像生成模型。两个工具可以帮助研究人员自动评估AI模型的性能，还能通过选择最佳候选图像来实际改善生成的图像。
CVPR’24 SynData最佳论文链接：https://arxiv.org/abs/2406.13743
论文代码：https://github.com/linzhiqiu/t2v_metrics
模型下载：https://huggingface.co/zhiqiulin/clip-flant5-xxl
VQAScore模型：https://huggingface.co/zhiqiulin/clip-flant5-xxl
GenAI-Bench数据集：https://huggingface.co/datasets/BaiqiL/GenAI-Bench
这些成果已在ECCV和CVPR等顶会上发表，并被谷歌DeepMind用于评估其最新的Imagen3模型，被誉为当前文生图领域超越CLIP等模型的最佳评估方案！
背景介绍
近年来，文生图模型（如DALL-E 3、Imagen3、Sora等）发展迅速，但如何准确评估这些模型的表现仍是一个关键问题。
尽管许多公司采用人类评估（Human evaluation）来提升结果的准确性，但这种方式成本高、难以大规模应用，而且缺乏可复现性。
在图片生成领域，已有多种方法使用模型来自动评估（Automated evaluation）生成图像的表现，其中常见的指标包括CLIPScore、FID、LPIPS、PickScore、ImageReward和HPSv2等。
然而，这些指标真的足够好吗？
现有自动化指标的不足
在评估两张图片的相似性（similarity）时，传统指标LPIPS等方法依靠预训练的图像编码器，将图像特征嵌入后再计算距离。然而，这类方法只能评估图像与图像之间的相似度（image-to-image metric），而无法判断文本和图像之间的相似度（text-to-image metric）。
为了更有效的提取视觉特征，研究团队使用开源数据训练了一个更强的CLIP-FlanT5 VQA模型。该模型采用了具备双向注意力机制的语言模型FlanT5，使得图像特征提取能够根据输入的提示词动态调整。
相比之下，VQAScore具备以下核心优势：
1. 无需人类标注：VQAScore能直接利用现有的VQA模型取得优异表现，无需在人工标注数据上进行额外微调。
2. 分数更精准：使用GPT-4给图片打分（如在0到100之间打分）时，模型往往会随意给出高分（如90），而忽略图片的真实质量。相比之下，VQAScore使用概率值来判断图片与提示词的相似度，结果更加精确。
VQAScore实验结果
研究人员在大量复杂图文匹配基准（如Winoground和EqBen）以及文生图评估基准（如Pick-a-pic和TIFA160）上对VQAScore进行了测试。
此外，VQAScore也超越了依赖提示分解进行视觉推理的先进方法（如 CVPR'23最佳论文Visual Programming和ViperGPT等），进一步验证了端到端评估方案的有效性。
1. 更具挑战性：研究表明，大多数文生图/视频模型在GenAI-Bench上表现仍有不足，还有大量的提升空间。
2. 避免空洞词汇：所有提示词均经过严格筛选，避免使用假大空的词语，确保评估更具客观性。
研究人员构建了一个新的GenAI-Rank基准，为每个提示词使用DALL-E 3和Stable Diffusion（SD-XL）生成3到9张候选图像。
VQAScore和GenAI-Bench为文生图模型提供了更精准且全面的评估，已被Imagen3、VILA-U、RankDPO等多个项目用于更好地评估和优化最新的生成式模型。研究团队已开源代码和数据集，期待未来更多探索与进展！
参考资料：
https://arxiv.org/abs/2404.01291