可商用,超12000颗星!微软开源多模态模型LLaVA-1.5

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

随着OpenAI发布GPT-4V后,多模态功能逐渐成为主流,并涌现出了MiniGPT-4、LLaVA等卓越多模态开源模型。
微软研究院、威斯康星大学的研究人员在LLaVA基础之上,继续开源了LLaVA-1.5版本。与前一代相比,LLaVA-1.5引入了跨模态连接器和特定格式的学术视觉问答数据集,全面提升了多模态理解和生成能力。
为了评估LLaVA-1.5的性能,研究人员在MMEMM、BenchMM、SQA、POPE等11个知名数据平台中对视觉问答、自然语言处理、图像生成等进行了测试。结果显示,LLaVA-1.5皆实现了开源模型中的最高水平,可媲美GPT-4V效果。
开源地址:https://github.com/haotian-liu/LLaVA
在线demo:https://llava.hliu.cc/
论文地址:https://arxiv.org/abs/2310.03744
可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图
LLaVA-1.5简单介绍
LLaVA-1.5继续使用了之前的LLaVA总体架构,由视觉模型、大语言模型和视觉语言连接器三大块组成。还使用了一个MLP连接器取代原来的线性投影,大幅度提升了视觉理解和生成能力。
可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图1
1)视觉模型:LLaVA-1.5使用了一个在大规模数据上预先训练好的视觉模型CLIP ViT-L/336px来提取图像的特征表示。
经过CLIP编码后,可以得到一个固定长度的向量表示,来表征图像的语义信息。与之前的LLaVA版本相比,CLIP模型的参数量和输入分辨率皆有大幅提升。
可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图2
2)大语言模型:使用了一个有130亿参数的Vicuna v1.5的大语言模型,来帮助LLaVA-1.5理解用户输入的文本内容,同时可以捕获文本的语义信息,具有强大的推理和生成能力。
与只进行图像编码器调优的方法不同,在LLaVA-1.5的训练过程中,大语言模型的参数也会更新。这样语言模型可以直接学会如何有效整合视觉信息进行推理,无需依赖其他模块来控制其输出,提高了模型的自主性。
3)视觉语言连接器:LLaVA-1.5使用了一个双层的MLP连接器替代了之前的线性投影,可将CLIP编码器输出的图像特征充分映射到大语言模型的词向量空间中。
训练方法、数据集和指令调优
在训练流程方面,LLaVA-1.5遵循了LLaVA的双阶段训练方式。第一阶段,进行视觉语言表示的预训练,使用约60万张图像文本对,大概训练1个小时。第二阶段,在65万多模态指令数据上进行调优,大约使用了20小时。
这种高效双阶段训练方法确保了模型的收敛性,也使得整个流程过程可以在一天内完成。相比那些需要训练上百万乃至上亿样本的模型来说,AI算力和时间成本都降了好几个数量级。
可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图3
训练数据方面,LLaVA-1.5整合了6大类数据集,覆盖视觉问答、语言对话等典型应用。包括:图像问答数据集VQA,提供图像-问题-答案三元组;OCR数据集,需要从图像文字中抽取信息;
区域视觉问答数据集,需要关注和回答图像局部内容;语言对话数据集,提供多轮聊天语料;等等。
可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图4
此外,研究人员还特意设计了匹配的响应格式提示,指导模型根据交互类型调整输出形式满足特定场景需求。
视觉指令调优方面,LLaVA-1.5使用了不同类型的数据集,包括VQA、OCR、区域级VQA、视觉对话、语言对话等,一共约65万条数据。这些数据为模型提供了丰富的视觉场景推理和交互方式。

本文素材来源LLaVA-1.5论文,如有侵权请联系删除

END

可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图5

可商用,超12000颗星!微软开源多模态模型LLaVA-1.5插图6

本篇文章来源于微信公众号: AIGC开放社区