科技日报记者 王姗姗
小时候的自己跨越时空,与现在自己的微笑拥抱;成年后的自己回到过去,与幼时的自己相视一笑……自2022年起,北京国际电影节设立了“AIGC电影单元”,旨在挖掘人工智能技术在数字影视领域的潜能,推动AIGC技术与电影艺术的深度融合。今年的电影节上,主办方利用AI技术,让众多明星与小时候的自己同框互动,激发了人们对童年回忆的共鸣,再次引发广泛关注。
AIGC如何让两个时空的自己见面、拥抱?其在影视制作中的应用如何?AI等前沿技术又是如何拓展影视制作的创新边界?科技日报记者采访了达瓦(重庆)影像科技有限公司副总裁、重庆市职业教育学会传媒艺术专业委员会理事陈亮。
AIGC让创意短视频生成更便捷
如今,AIGC技术指利用人工智能技术生成内容的过程,已广泛用于文本生成、图像生成、音视频创作与生成等多个领域。陈亮表示,在一些常用的AIGC生成软件中,上传明星现在和小时候的图片或视频,再输入微笑、拥抱等提示词,几分钟内便可生成预想的视频。这一过程看似简单,其中却包含了人脸识别与特征提取、深度学习、动作捕捉、光流追踪以及实时渲染等多项复杂技术。
首先,生成视频的软件需要利用人脸识别与特征提取技术,精准定位图片、视频中人物的眼睛、嘴角等面部关键点,分析不同年龄段的骨骼结构和皮肤纹理变化,再将成年明星的面部特征与童年模型进行关键点对齐,调整骨骼比例、皮肤质感等。
其次,需借助动作捕捉与姿态同步技术,利用多摄像头阵列实时捕捉明星的肢体动作、微表情及眼球运动数据,驱动虚拟形象实现毫米级动作同步。如在某明星的互动环节,系统需将成年演员的肢体语言实时映射到童年虚拟形象上,同时保持比例协调。
再次,在光流追踪技术支持下,追踪人物面部肌肉运动的轨迹,让生成的视频中人物在做拥抱、微笑、竖大拇指等动作时,轨迹和光影更加流畅。
最后,通过渲染与虚实融合技术,进行背景环境重建,结合深度学习超分辨率技术提升历史素材画质,利用实时渲染技术调整光照和阴影,将预设的“拥抱”动作模板与生成的面部动态结合,输出互动视频。
陈亮说,作为全国首个数字科技片场的建设者之一,达瓦科技搭建了全国首个集虚拟拍摄、动作捕捉、实时渲染及杜比全景声的全流程数字影棚,创立集成全球顶尖生成式人工智能大模型的AIGC综合平台,在AI、AIGC以及AR/VR等技术与影视制作的融合领域积累了大量专业经验。他坦言,由于AIGC技术发展的限制,所生成的视频时长短、画质不高,用户也很难对生成的视频进行微调,和电影叙事和画质的高标准还不契合。因此,AIGC技术在上述创意短视频和简单的微短剧制作中应用较多,但在电影制作中应用较少。
AI等前沿技术拓宽影视制作边界
2024年,我国首部AI全流程微短剧《中国神话》上线,剧中的美术、分镜、视频、配音、配乐全部由AI完成,展现了AI技术在影视化应用中的巨大前景;2025年开机的《流浪地球3》,片方将大语言模型与影视制作结合,自主开发了AI问答应用。
陈亮表示,近年来,各大影视制作团队都积极拥抱AI等前沿技术。编剧用AI快速生成故事情节和角色设定,生成具有创意的内容,为剧本创作提供新的灵感来源;在科幻、奇幻类影片中,电影制作者借助AI制作奇幻生物、太空场景等复杂特效,使得影片更具视觉冲击力;在风靡一时的科幻大片《阿凡达》中,AI在角色建模和动画方面发挥了重要作用,创建出了具有真实感的外观和动作的虚拟角色;在影视剪辑等后期工作流程中,AI能对拍摄素材智能分析,自动识别和分类不同镜头,挑选出符合剧情需要的片段,并将其按照剧情线索进行组合,大大提高了剪辑效率。
“除AI技术外,数字人技术、虚拟现实技术等前沿技术也在逐渐改变影视制作的传统方式,使得影视创作更加高效、精细和多样化。”陈亮以达瓦科技首创的实时数字人“硬技术”为例介绍道,该技术柔和了图形图像学、AI等专业技术,让电脑设计出来的虚拟模型实时做出与真人一模一样的动作、表情,打破了国际上对我国数字人技术长达10余年的技术封锁,开启了我国数字影视发展新纪元。
此外,针对传统影视制作布景成本高、拍摄周期长的痛点,虚拟拍摄科技影棚应运而生。此类摄影棚配备虚拟拍摄棚、XR拓展现实摄影棚、动作捕捉棚,演员可在飞驰的火车、神秘的古墓、宇宙飞船等任何逼真的虚拟场景中表演,导演还可实时看到合成后的影片效果,实现在一个影视棚里完成一整部电影的拍摄,减少转场成本的同时,提高了拍摄和制作效率。
“前沿技术创新与影视制作的深度融合是大势所趋,已成为影视业提升竞争力的关键。”陈亮认为,未来,随着AI等技术的发展,诸如图文生视频引擎等AIGC应用,将不仅限于短视频和微短剧的应用中,而是能够赋能电影拍摄,为电影工业化提供新范式。