Unity孙志鹏:AIGC时代,3D引擎可能实现“一句话建模”
添加书签每日经济新闻消息,近期,无论是科技领域还是资本市场,最火热的概念莫过于ChatGPT和AIGC(人工智能技术生成内容)。从文本到图片,AIGC都有丰富的应用。
那么,在3D世界,AIGC有没有应用空间?3D引擎与ChatGPT以及GPT类工具,能否擦出火花?
针对以上问题,《每日经济新闻》记者近日采访了国际3D引擎巨头Unity的多位专家。Unity中国高级经理兼跨端移植技术负责人孙志鹏告诉记者,对应AI作画,3D引擎可能实现“一句话建模”。
3D引擎可能实现“一句话建模”
ChatGPT可实现人工智能创作文本,基于文本,AI作画可实现人工智能创作图片,即从一维的文本到二维的平面图片。那么,基于文本,能否形成三维的视频呢?即利用CG(计算机动画)技术以及3D引擎技术,进一步由AI制作微电影。如此前,艺术家团体Sagans就借助虚幻引擎5和AI算法,创造出赛博朋克风格的MV。
对此,孙志鹏表示,AI已被不断集成至Unity的工具流中,主要用于强化管线的渲染能力,同时也会在程序化数字资产生成和可微渲染的部分,为AIGC的落地做能力加强和生态储备,并参与GPT之类的预训练模型的使用探索。在多模态、数据合成、对比学习等领域紧跟学术界成果,争取早日在3D数字资产创作领域实现AIGC。
对应AI作画,3D引擎可能实现“一句话建模”。以场景生成为例,目前看起来一个可能的路径是:首先通过GPT之类的生成模块,自动生成对一个用户需要的场景足够详细的描述,然后通过一个多模态模块进行模态融合,去驱动一个全可微的程序化建模模块来生成场景,继而通过可微渲染器渲染的结果,最后把这个结果交给类似CLIP(文末注)的模块去生成符合最初描述的图像或视频。
而类似过程可以用在很多类型的资产生成过程中,“一句话建模”也就由此实现了。在此之前,工具引擎需要在程序化和可微的方向上做好准备,同时时刻紧跟AIGC相关领域的科研进展,在新锐技术落地的第一时间,让一切成为可能。
中国很可能诞生最大的元宇宙世界
三维空间除了视频,还有直播等场景。目前,虚拟人技术发展迅速,那么Unity能否进一步将自身技术应用到电视直播中,从虚拟人升级到虚拟演播室?
对此,Unity中国回复记者称,此前,由韩国开发者使用Unity打造的虚拟人SUA已经吸引了全世界的关注。作为实时渲染的数字人类,SUA全身都基于实时渲染实现。实时渲染的渲染速度与交互性,让SUA可以与观众实时互动,也就让虚拟演播室成为可能。
另外,目前虚拟人在实际应用中,普遍缺乏真实的人物表情。但在影视制作领域,却已能生成生动的面部表情。比如年前火热的电影——《阿凡达2水之道》。该影片的CG技术提供方WētāFX,和此前已被Unity收购的Wētā Digital师出同门。
Unity Wētā Tools对《每日经济新闻》记者表示,制作中的最大突破是为影片中的数字角色制作创新地提出了APFS系统(Anatomically Plausible Facial System),这是一个基于肌肉纤维曲线的面部动画参数化系统,同时Wētā也提供了一整套与之配合的特效画面制作生产流程。
全新的APFS系统提供了一个更基于解剖学基础、更以动画师为中心的创作环境。在帮助动画师通过肌肉曲线直接控制面部肌肉,生成高保真的面部表情的同时,也将复杂的非线性皮肤表现纳入深度神经网络(一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型),继而通过大约7~10万次的高质量面部扫描来训练AI模型,旨在帮助电影创作者更高效地制作高逼真度画面。
Unity在3D引擎和CG技术领域拥有的技术实力,能给中国的相关产业发展带来哪些助力?
Unity中国表示,公司致力于打造中国本土的、适配各类国产软硬件平台的数字生产力工具,丰富由实时图形渲染技术支撑的AR、VR、MR以及数字孪生体验,赋能中国数字经济安全、稳定、健康发展。
在Unity看来,中国拥有世界上最大的游戏市场和汽车市场,也是最大的制造业国家、基建国家。这意味着,中国拥有全球最大的数字孪生市场,也很可能诞生最大的元宇宙世界。