高性能多模态大模型,华中科技大学开源Monkey

添加书签

专注AIGC领域的专业社区,关注微软OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

目前,很多多模态大模型在理解和处理复杂的场景,以及细微的视觉细节时仍面临很大挑战,主要是受限于输入分辨率(如448 x 448)以及训练集图像和文本描述之间的不匹配。

为了解决这些难题,华中科技大学与金山软件联合推出了Monkey框架并将其开源。Monkey无需从0预训练,可以基于现有视觉编辑器(如Vit-BigHuge)进行构建,将大模型的输入分辨率能力提高到896 x 1344像素。

此外,Monkey还提出了一种多级描述生成方法,该方法自动提供丰富的信息,可以指导模型学习场景和对象之间的上下文关联。

为验证Monkey的性能,研究人员在16个不同的数据集上进行了丰富测试,涵盖图像字幕、视觉问答、文档分类以及图像理解等多模态任务,Monkey皆取得了出色的成绩。

开源地址:https://github.com/Yuliang-Liu/Monkey

论文地址:https://arxiv.org/abs/2311.06607v1

高性能多模态大模型,华中科技大学开源Monkey插图

训练数据与模型

高质量训练数据集是提升大模型能力的关键点之一,所以,研究人员生成了数十万条高质量的图像描述数据,并通过多级方法捕捉图像的全貌和局部细节。

还利用BLIP2、PPOCR、GRIT、SAM等模型自动生成文字描述,然后把不同模型输出的内容融合起来,组成清晰和连贯的图文匹配数据。这种数据生成方法,显著提升了大模型图像细节的理解能力。

高性能多模态大模型,华中科技大学开源Monkey插图1

模型选择方面,直接应用了开源模型Qwen-VL作为语言解码器,并使用了20亿参数的ViT-BigHuge作为视觉编码器。这可以极大提高了研发的效率,避免重复预训练耗费资源。

训练方法

为了提升Monkey多模态大模型的识别能力、输入分辨率,生成更丰富的图像描述以及对复杂场景的理解能力,采用了三个训练阶段:

(1)多级描述生成:该模块主要通过BLIP2GRITPPOCR多个模型的协同,为图像自动生成包含全局特征和局部细节的语义描述。

(2)高分辨率编码:采用滑动窗口分割高分辨率图像,并行使用多个视觉编码器对各个局部区域进行编码,同时保留全局图像的结构信息。例如,一张2048像素的高清图片,Monkey会将其均分成16块。

高性能多模态大模型,华中科技大学开源Monkey插图2

(3)多任务训练:使用包含图像字幕、视觉问答等多种任务的数据集进行联合训练,提升模型的泛化能力。指令格式统一为:Generate/Answer + 问题/命令,并限制每个任务使用的数据量,有助于保证训练平衡。

实验数据

为了验证Monkey的能力,研究人员在16个不同的数据集上进行全面验证,覆盖图像字幕、通用VQA、文档VQA等测试任务。

通用视觉问答:Monkey在VQAv2、GQA、OKVQA等多个数据集上都显示出明显的优势。

高性能多模态大模型,华中科技大学开源Monkey插图3

图像字幕任务:Monkey在TextCaps数据集上的性能同样优异,证明了对图片中文本元素的多模态理解力。

高性能多模态大模型,华中科技大学开源Monkey插图4

文档导向问答:Monkey在DocVQA、ChartQA、DeepForm等文档图像理解数据集上也取得了不错的成绩。

高性能多模态大模型,华中科技大学开源Monkey插图5

研究人员表示,Monkey在细微视觉信息感知和复杂场景理解上展现出了超强能力,在医学影像、卫星图像等领域拥有广泛的应用空间。未来,也会继续优化Monkey模型,提升其感知、联想、推理和泛化能力。

本文素材来源Monkey论文,如有侵权请联系删除

END

高性能多模态大模型,华中科技大学开源Monkey插图6

本篇文章来源于微信公众号: AIGC开放社区