OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

昨天,OpenAI发布的首个文生视频模型Sora,成功霸屏全球科技媒体头条,其逼真的细节、连贯的视频动作以及精准的文本语义还原令人咋舌。
不少媒体、科技大咖和影视导演指出,Sora的出现不仅一夜让深耕该领域的Runway、Pika、Stability.ai等头部企业黯然失色,就连影视行业都可能一起颠覆。
今天「AIGC开放社区」根据OpenAI公布的技术报告,为大家深度的解读一下Sora的技术原理,以及那些前所未有的超强视频功能。
报告地址:https://openai.com/research/video-generation-models-as-world-simulators
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图
为什么其他模型,很难生成4秒以上的高质量视频
我们先思考一个非常重要的问题,文生视频领域的AI工具那么多,技术迭代也折腾了好几年,为什么无法像Sora那样,一次生成超过4秒甚至1分钟的高质量视频?
下面这个视频是昨天OpenAI公布的一个悬崖拍摄视频,我们将相同的提示词放在Runway的Gen-2中生成视频,并进行了详细的对比。
大家看到了,在彩色饱和度、通透度、视频运动轨迹速率、文本语义还原等方面,Sora是完全碾压Gen-2。
下面这个是刷爆全网的Sora生成中国龙的视频,同样与Gen-2做了对比依然完败,这样的例子还有很多。
限制Gen-2等产品生成高质量长视频的一个重要原因就是缺少——高质量训练数据。
文生视频模型需要大量的视频数据进行训练,包含各种场景、人物、动作、物品等,以帮助模型学习视频的生成规律和运动轨迹等重要元素。
目前公开的视频数据集,例如 Kinetics、HMDB51、Charades等,视频长度都比较短,一般只有几秒钟,并且搜集视频训练数据的难度是文本的好几倍,高质量数据更是难上加难
大模型的根本原理就是通过模仿然后进行二次创新,所以,训练数据那么短,模型也很难模仿创作更长的视频。
昨天就有科技大咖指出,Sora可能使用了虚幻引擎5合成的游戏视频训练数据,从视频的色彩、细节来看这个判断是靠谱的
这样看来OpenAI手里已经掌握了一批高质量视频训练数据,同时找到了新的高效数据合成方法。
此外,在训练方法、模型架构、算力需求等方面,Sora也进行了创新将ChatGPT、DALL·E 3等模型融合在一起
Sora可以模拟世界
由于Sora的技术原理比较枯燥,我们放在后面说,先从Sora的超强视频功能说起吧。
OpenAI发现,Sora在经过大规模训练后,会表现出许多有趣的新能力,能够模拟物理世界中的人、动物和环境的某些方面。这些特性的出现并没有对3D、物体等产生任何明确的归纳偏差,纯粹是规模现象。
3D一致性:Sora 可以生成摄像机动态运动的视频。随着摄像机的移动和旋转,人物和场景元素在3D空间中的移动会保持一致。
长距离一致性和对象持久性,是生成高质量长视频的一个重大挑战。OpenAI表示,Sora 经常(并非总是)能够有效地模拟短距离和长距离依赖关系。例如,即使人、动物和物体被遮挡或离开画面,也能保持它们的存在。
此外,Sora还能在单个样本中生成同一角色的多个镜头,并在整个视频中保持其外观。
与物理世界产生互动,Sora有时可以模拟一些影响世界状态的简单动作。例如,画家可以在画布上留下新的笔触,并随着时间的推移而持续;或者一个人在吃一个汉堡时,留下咬痕。
模拟数字世界:Sora还能模拟人工操作流程,例如,在游戏“我的世界中”, Sora 可以通过基本策略控制 游戏中的玩家,同时高保真地呈现世界环境以及动态。
OpenAI也指出了Sora模拟的局限性,例如,不能准确地模拟许多基本交互的物理现象,如玻璃碎裂,并不总能产生正确的物体状态变化。
但从更长远的角度来看,继续扩大Sora的训练数据规模,是开发物理、数字世界以及元宇宙的一种高效模拟手段,可以近乎真实地来还原物体、动物和人等。
视频连接功能
Sora 可以在两个输入视频之间逐步插值,并在主题、场景构成完全不同的视频之间创建无缝过渡。简单来说,就是Sora具备无缝视频剪辑连接,这对于影视行业来说帮助很大。
OpenAI在展示Sora的视频连接功能时,使用了三个20秒的案例:一个飞行的无人机,无缝变成了一只蝴蝶,然后场景切换到海底世界。整个流程非常丝滑,感觉就像人工剪辑的一样。
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图1
「AIGC开放社区」将这三个视频整合到了一起,大家可以感受一下。
扩展生成视频
Sora 还能向前或向后多个维度扩展视频。OpenAI举了3个视频案例,它们都是从一段生成的视频开始向后延伸的,所以,这3段视频的开头都与其他视频不同,但结尾都是一样。
视频剪辑
扩散模型为文本提示,编辑图像和视频提供了大量方法。于是,OpenAI将把其中一种方法 SDEdit32应用在了Sora。这使得 Sora 可以在0拍摄的情况下,转换输入视频的风格和环境。
例如,一辆在森林中飞奔的跑车,可以瞬间改成赛博朋克的视频画面。这个功能其实就是一键滤镜+环境修改。说起来很简单,但在技术层面相当有难度。
通过图像、视频进行生成提示
除了文本之外,Sora还能通过图像、视频的方式生成视频。例如,输入一张图像,一只戴着贝雷帽和黑色高领毛衣的柴犬,然后就能制作视频。
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图2
生成图像能力,
Sora是一个文生视频模型,但同样具备生成图像能力,这个创新属于业内第一家。
Sora可以生成不同大小,分辨率高达2048×2048的图像
例如,充满活力的珊瑚礁,有色彩缤纷的鱼类和海洋生物
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图3
苹果树下有一只可爱的小老虎,哑光绘画数字风格,细节华丽
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图4
Sora技术原理以及“视频补丁”
说完了Sora一堆超强功能,我们唠唠它的技术原理。
衣服破了一个洞怎么办?通常的方法是打一个补丁,然后缝缝补补又穿3年。
同理,OpenAI从大语言模型ChatGPT领悟到了灵感:大模型可以生成各种细化文本内容,主要得益于精准的数据标记,统一了文本代码、数学和各种自然语言的不同模式。
既然大模型有文本标记,那Sora当然也可以有“视频补丁”啊。OpenAI发现,视频补丁是一种高度可扩展且有效的表示形式,可用于在不同类型的视频和图像上训练生成模型。
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图5
在较高维度上,OpenAI首先将视频压缩到低维潜在空间中,然后将其分解为时空补丁,从而将视频转化为补丁。
视频压缩网络:OpenAI训练了一个降低视觉数据维度的网络。该网络将原始视频作为输入,并输出在时间和空间上压缩的潜在表示。
Sora 在这个压缩的潜在空间中接受训练,并随后生成视频。同时还训练了相应的解码器模型,将生成的潜伏映射回像素空间。
时空潜伏斑块:给定一个压缩输入视频,OpenAI提取了一系列时空补丁作为转换标记。基于补丁的表示法,使 Sora 能够在不同分辨率、持续时间和长宽比的视频和图像上进行训练。
在推理时,可以通过在适当大小的网格中排列随机初始化的补丁,来控制生成视频的大小。
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图6
模型架构:Sora是一个扩散模型在给定输入噪声补丁,被训练来预测原始的“干净”补丁。此外,Sora 和ChatGPT一样使用了Transformer 架构,在语言建模、计算机视觉以及图像生成等方面非常优秀。
改善构图:OpenAI发现,在原始长宽比的视频上进行训练,可以极大改善构图和取景,并将 Sora 与所有训练视频裁剪成正方形的模型版本进行了比较,取景效果获得了极大的改善。
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图7右图为Sora生成全景视频。
精准文本语义理解:训练视频模型需要大量,带有相应字幕的视频。OpenAI将DALL·E 3的重新字幕技术引入到了Sora。首先训练一个高度描述性的字幕模型,然后用它为训练集中的所有视频制作文本字幕。
OpenAI表示,在高度描述性的视频字幕上进行训练,可提高文本的保真度以及视频的整体质量
与 DALL-E 3 一样,OpenAI也通过 GPT 将简短的用户提示转化为较长的详细字幕,并发送给视频模型。这使得 Sora 能够精准地还原用户的文本提示,生成高质量的长视频。
OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图8
从这份技术报告来看,Sora更像是OpenAI的技术大集合,使用到了很多ChatGPT、DALL·E 3以及之前积累的技术沉淀,也是Sora能呈现出那么多超强视频技术的原因。
让我们一起期待Sora公测、开放API的那一天吧,万一开源了呢~

本文素材来源OpenAI官网,如有侵权请联系删除

END

OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图9

OpenAI公布Sora技术报告:模拟世界、视频扩展等,强的离谱!插图10

本篇文章来源于微信公众号: AIGC开放社区