北影节首届AIGC竞赛:我们荣获最佳影片奖项

发表时间: 2024-04-28 19:32

第十四届北京国际电影节

首次开设“AIGC电影短片单元”竞赛

中国传媒大学动画与数字艺术学院及Ainimate Lab

在华为云的支持下共创AI动画短片

《致亲爱的自己》,获最佳影片荣誉

双方基于风格化视频生成、多模态大模型CG+CV等能力,使用连贯镜头对短片人物角色动作、表情、场景、道具等进行一致和稳定刻画,推动故事情节发展,首次实现AIGC动画领域的视觉叙事突破,并通过华为云MetaStudio开放给更多创作者和企业,开辟出可控性AI在影视动画工业流程的创新应用之路,助力我国影视工业变革与发展。

“PPT动画”困境背后,AI的创作难题

视觉叙事,也被称为用视觉讲故事,即通过眼睛可见就能把一个故事的前因后果来龙去脉呈现给观众。在影视动画领域,好作品往往离不开独具匠心的故事和独特的叙事方式。

但当前AI影片里,故事情节更多依靠旁白串联全篇,这种主要通过听觉方式来捕捉故事画面和情节的内容,被业界称为“PPT动画”。比如一个父亲与失散已久女儿重逢的场景,镜头里可能有女儿挥舞的双手,惊慌失措的哭喊,也有双手挥舞间父亲抿着唇,憋着气,眼睛都不敢眨,但逐渐绷紧的身体和蓄满的眼泪。

AI视觉叙事能力的缺失,可能让镜头里只剩下苍白的画面,父亲的微动作和表情不再有,女儿和父亲镜头的交叠转换不再有,失去情绪表演的递进和感染力,观众无法带入和共情,作品最重要的剧情、角色表演和叙事都不能完美呈现和被感知。

因此,大量AI模型生成的图片或视频,画面虽然惊艳,但生成内容要符合艺术家创作要求、符合人类对影片故事情节的需求,是一个非常具有挑战的事情,这也是AI真正走进影视动画工业流程的最大阻碍之一。

全球首个AI共创电影节,这支最佳影片凭什么?

《致亲爱的自己》由一段艺术性真人实拍短片转绘生成,通过镜头时长、人物表演、场景细节等的一致性和稳定性突破,在AI动画影视视觉叙事方面实现重大提升,是一次艺术+技术的完美结合和划时代碰撞。

2个核心技术方案

风格锁定:不同类型的风格化,需要匹配不一样的基础参数,本片通过上传具有特定风格属性的原始数据,通过视觉生成式大模型微调形成一个生成式垂域模型,能同时满足特定艺术风格的画面生成和具体角色的形象植入。

一致性处理:引入基于生成式大模型的视频运动模块,来增强帧间的动态一致性,同时使用视频一致性后处理算法来消除生成视频的闪烁和抖动。保证影片整体画面稳定,角色、物品在大幅度运动状态下的一致性。

根据运动过程保持发型、面部、五官稳定生成

准确保留角色内心变化过程演绎

5大创新突破

连续性突破:全片总时长超过4分钟,13个分镜环环相扣,最长分镜长达50秒,始终保持场景、人物画面连贯流畅;

一致性突破:影片中有大量大幅度舞蹈动作,人物与镜头运动轨迹大,角色和道具前后始终保持一致

可控性突破:风格化幅度大,生成结果脱离原演员样貌,但始终保持前后是一个人;

故事性突破:演员表情细节、肢体动作细节要求严格,最关键几个要传达情绪的镜头里,把角色的表情保留下来,保证作品故事信息有效传递

细节突破:色彩及光照阴影精细化处理,画面更生动。

影片特殊道具,蒲公英戒指造型前后保持一致

大幅度舞蹈动作也保持人物一致性和画面连续性

人物面部轮廓、发型、体型、表情始终合理连贯

此外,本片的后期制作中混音和调色采用Audio Vivid(三维菁彩声)和HDR Vivid(菁彩HDR)技术标准制作,画面色彩、音乐效果等也得到大幅提升。

可控性AI工具,影视动画工业化必由之路

影视动画原创IP公司面临的核心问题,产能来自哪里。现阶段AIGC视频创作过程中,除了高质量数据、更智能的模型之外,最大需求点在效率;选择更成熟稳定的工具,可以帮助艺术创作者高效率生成作品,极大节省创作时间。

在本次创作中,华为云为创作团队提供了基于MetaStudio的一站式云上数字内容生产平台能力,在云和AI的技术能力加持下,影片内容生产方式发生质的跃迁!

多模态大模型精准保留人物信息,保证视频内容在物理世界合理性

视频从一张张静态帧图片到动态画面动起来,需要保持前后连贯性和一致性。相较业界纯CV(视觉)生成视频不理解物理世界轨迹的局限性,华为云MetaStudio基于多模态大模型构建CG+CV能力,能精准保留人物信息,保证视频内容在物理世界的合理性。

注:

CV技术侧重于让计算机分析和理解现有的图像和视频内容,它包括图像分类、目标检测、人脸识别等应用,涉及图像处理、模式识别和机器学习等技术,目的是使计算机能够智能地解释视觉信息。

CG技术关注的是如何使用计算机生成和操作图形、图像,包括二维和三维的图形设计、动画制作、视频游戏开发、影视特效等,它涉及到计算机辅助设计、多媒体制作和艺术创作等多个方面。

以视频生成动画为例,通过训练50-100张特定风格的图片,比如油画或素描等风格,然后输入视频即可快速生成该风格的动漫视频,并保持视频中角色的样貌特征前后一致,而且可以达到按需生成。

面对舞蹈等大幅度动作产生较大的运动轨迹时,视频生成容易出现合理性问题,用华为云 CG+CV的视频生成技术,可以保证人物在大幅度运动时的面部轮廓、发型、体型等视觉效果都合理恰当,前后连贯;而基于可控视频生成的技术,才能满足真正的工业场景应用需求!

华为云MetaEngine云原生智能渲染引擎,节省80%工作量

通过将云、AI和计算机图形学技术相结合,云上海量算力进行高清渲染,MetaEngine渲染引擎将AI与CG渲染算法相结合,确保同样清晰度又能大幅提升渲染效率,为创作者制作节省80%工作量,为传统动画行业内容制作效率提升质的飞跃!

在全球范围内涌现的AIGC热潮下,影视动画内容制作正发生巨大变化。华为云将持续秉承技术创新,与业内各方人士共同探索新技术的实践应用和AI带来的无限可能;光影互鉴,同道相益,AI之所至,无远弗届!

关注@华为云,了解更多资讯