文本生成4K超高清图像,华为等推出创新模型PixArt-Σ

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

华为诺亚方舟实验室、大连理工大学和香港大学的研究人员,推出了文本生成4K超高清图像的模型——PixArt-Σ。

与上一代PixArt-α相比,PixArt-Σ在图像质量/细节、训练效率、文本语义理解/还原等方面实现了大幅度提升。

尤其是训练效率,PixArt-Σ基于DiT架构(Diffusion Transformer)并提出了一种高效的注意力模块来压缩Key和Value,再通过局部聚合关键字和值的组卷积和特殊的权重初始化方案。

使得PixArt-Σ不仅能生成4K分辨图像,在训练、推理比SDXL、SD Cascade等模型更高效。

论文地址:https://arxiv.org/abs/2403.04692

项目地址:https://pixart-alpha.github.io/PixArt-sigma-project/

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图

PixArt-Σ的核心技术在于提出了一种”从弱到强”(Weak-to-Strong)的训练方法。通过将高质量的训练数据融入到其前作PixArt-α的预训练基础上,再结合高效Tokens压缩注意力模块,PixArt-Σ成功实现了从弱模型到强模型的高效演化。

高效Tokens压缩注意力

传统的自注意力机制在处理像素级别的Tokens时,计算复杂度会呈指数级增长,这给文生4K图像带来了巨大挑战,而高效Tokens压缩注意力机制可以很好解决这一难题。

其设计思路是,在自注意力机制的Query(Q)、Key(K)和Value(V)之中,只对K和V进行压缩,保留了所有的Q。依据是,Q主要用于捕获精细的像素级信号,而K和V则承载了更高层次的语义信息,所以比较适合进行压缩。

为了实现K、V压缩,PixArt-Σ采用了2×2的步长卷积核对邻近区域进行局部聚合操作。该操作将相邻的2×2个K(或V)Token合并压缩为1个Token,从而将K和V的总量减少到原来的1/4,大幅降低了计算复杂度。

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图1

同时为确保模型可以从之前的PixArt-α平滑过渡到PixArt-Σ,研究人员提出了”Conv Avg Init”(卷积平均初始化)权重初始化方案。

该方案将2×2的卷积核初始化为平均卷积,可以在不做任何调整的情况下,让K、V压缩模块最初就能产生较为粗糙但接近正确的结果,从而加速后续的微调流程。

在高效Tokens压缩注意力的帮助下,PixArt-Σ在生成4K图像时,训练和推理的时间缩减了34%左右极大节省了AI算力。

从弱到强训练方法

训练方法方面,如果直接从低分辨率过渡到4K分辨率,模型可能难以快速适应,影响训练效率。PixArt-Σ则使用了从弱到强的训练策略:1)先从256×256的低分辨率着手,通过80K步的训练,让模型对齐文本和图像特征;

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图2

2)再以512×512为中介,经过10K步训练,过渡到1024×1024分辨率;3)最后在此基础上通过2K步的训练,最终实现了对2K和4K分辨率的支持。

这种分阶段、循序渐进的策略,避免了分辨率突然升高带来的适应性困难。

值得一提的是,PixArt-Σ在过渡到更高分辨率时,借助了”位置嵌入插值”技术,将低分辨率模型的位置嵌入升采样到高分辨率,作为初始化进一步加速了模型的效率。

高质量训练数据集

为了提升PixArt-Σ生成图像的质量和多样性,研究人员搜集了一个一个包含3300万张高分辨率图像的内部数据集Internal-Σ,比之前的数据集大了一倍还多。

Internal-Σ数据集中,所有图像的分辨率均高于1K,其中还特别收录了230万张4K分辨率的图像。这些高分辨率图像不仅扩大了PixArt-Σ生成的风格,还能为模型学习生成4K图像的真实数据分布提供必要的素材

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图3

此外,为了精准还原用户的文本语义提示,研究人员弃用了之前的PixArt-α使用的LLaVA,采用了更强大的Share-Captioner模型来生成详细准确的图像文本描述。

同时,扩大了文本编码器可处理tokens长度至300词,使文本描述能更丰富详细,提高文本与图像的语义对齐能力。

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图4

PixArt-Σ生成图片展示

以下是研究人员公布PixArt-Σ的生成图片案例,在质量、细节、语义还原等方面非常优秀。

一个华丽的珊瑚礁纸艺世界,充满了色彩缤纷的鱼类和海洋生物。

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图5

模特特写照片,朦胧光影,激光金属发饰,柔和美丽,浅金色瞳孔,白色睫毛,低饱和度,真实皮肤细节,毛孔细纹清晰,光反射折射,超清,电影摄影、获奖作品。

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图6

乐高模型,未来火箭站,复杂细节,高分辨率,虚幻引擎,超高清。

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图7

本文素材来源PixArt-Σ论文,如有侵权请联系删除

END

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图8

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图9

文本生成4K超高清图像,华为等推出创新模型PixArt-Σ插图10

本篇文章来源于微信公众号: AIGC开放社区