一位年轻的女性走在充满霓虹灯的东京街头、两艘战船在咖啡杯里航行、黑人小伙在云端看书、古镇巷子里迎接龙灯的男女老少……这些由Sora(一款文生视频模型)生成的视频效果足以“乱真”。
当地时间2月15日,OpenAI (一家海外人工智能公司)推出旗下首个文生视频大模型Sora,同时展示了由它生成的48段视频。该模型生成的视频以超高的清晰度、连贯性、语义还原度引发业内广泛关注。
Sora的惊艳令人振奋,它的出现也可能会深远地影响到游戏、影视和广告等内容行业。“目前看来,AIGC(生成式人工智能)相关工具的应用,能够有效提高媒体、设计等相关领域的内容生产速度,利用AIGC工具进行概念构想和快速迭代,会成为未来这些行业工作流程中的重要一环。”中国艺术科技研究所数字艺术部主任张宜春接受新京报贝壳财经专访时说。
虽然技术路径、呈现效果与Sora还存在差异,但生成式人工智能已经成为国内的热门赛道,不少技术也已投入应用。新京报贝壳财经独家获悉,年初摘得iOS(苹果旗下手机应用商店)免费榜冠军的言情手游《世界之外》中的不少人物和剧情就来自人工智能生成。此外,2月6日上线的古装探案剧《大唐狄公案》也用人工智能生成了古代长安城的全景镜头。不少CPC广告(点击付费广告)的物料也使用了人工智能生成。
华泰证券研报显示,2023年实际诞生的文生视频大模型达到数十个,全球用户数量超过百万级别,但目前多数视频模型仍处于产品早期阶段。2024年各大公司加快了文生视频模型的研发步伐。
Sora生成的视频截图。图/IC
游戏行业
内容生产、语音交互等领域已应用AIGC,核心画面仍需人工加入
2024年开年,网易旗下的无限流言情手游《世界之外》成为“黑马”。但鲜少有人知道这款游戏的很多对话和美术都由人工智能生成。
“初期这个项目(《世界之外》)在内部优先级不高,甚至已经到了‘待砍’的边缘,但游戏的主策划四处奔走,坚持要把这个游戏发出来。这个团队人很少,所以这款游戏的很多人物和对话都是AI生成的。现在这个题材爆了,又紧急配了不少人,开始美化和修饰。”游戏行业资深运营林函(化名)向记者透露,他曾经服务过多家主流游戏大厂。
网易2024年财报显示,旗下《逆水寒》《蛋仔派对》等游戏大量使用AI技术。比如,基于伏羲人工智能模型的《逆水寒》手游中,融合了高智能NPC(非玩家角色)、AI捏脸、AI作诗、AI作画、AI大宋头条等。《蛋仔派对》则提供了具有AI算法的用户内容生成工具,能够降低用户制作地图的门槛,目前该游戏地图总数突破了1亿张,单张地图最高游玩次数超1.2亿次。另据贝壳财经记者了解,目前不少游戏公司已经在研究将AI用于3D建模的不同方向。
据林函介绍,目前的主流游戏厂商,在非核心内容上都使用了AIGC,主要应用领域有以下几个方面:其一是游戏内容生产,包括图形、图像生成,游戏剧本创作,NPC智能生成等,甚至有的游戏中90%的过场图都可以用AIGC再结合一些人工优化生成,这是降本增效的方式;其二使用AI对话和语音交互,比如根据游戏策略和人物属性,给NPC生成语言包,让他更有交互和情感属性;其三是在商业投放的过程中,用AI来预测和模拟部分玩家的行为,从而更好地调优商业化数值。
“只要生成的底图比较正常,操作动作不要太夸张,就可以用。”从事游戏AI技术的陈星(化名)说。目前文生视频模型还停留在“4秒时代”,陈星认为,市面上的Pika、Runway等模型只能生成Gif图(图形交换格式)效果的内容,这些只能用在游戏“稍微动一点”的地方。
但涉及游戏较为核心的画面则需要人工加入。陈星表示,目前Sora最多能生成一分钟的视频,比较理想的使用场景是,如果需要制作5至10分钟的长CG(计算机生成图像),需要通过不断调整提示词,生成一些较为满意的片段和镜头,再通过人工的剪辑让这些片段看起来“更连贯些”,但更有可能出现的情况是,很大部分片段无法直接使用,造成更大的成本和算力浪费。
但陈星认为,“生成式人工智能对独立游戏的开发者和小工作室是利好的,以前独立游戏里没有的CG、过场动画和3D模型等,现在都可以有了。因为这些内容是逐帧渲染出来的,非常耗时耗钱。”以游戏PV(游戏宣传视频)为例,一段高质量的PV视频起码花费数百万元。
但从事游戏项目用户增长的张青(化名)提示,如果在二次元、MMO(大型多人在线游戏)、SLG(策略类游戏)等强调美术和内容质量的游戏中,直接使用模型生成内容容易招致玩家反感。他认为,这类游戏如果使用模型生成内容,“可能用在比较细微的地方,不太可能用在主线过场动画或主要宣传的视频,比如PV”。
据伽马数据《中国游戏产业AIGC发展前景报告》,在中国游戏营收TOP50游戏企业中,已有64%的游戏企业明确布局AIGC领域,并有实质性动作。已布局企业中,有27家企业已将AIGC投入到了游戏研发、营销、运营等游戏产业全流程应用层面;12家企业运用AIGC相关技术为其他行业或企业提供解决方案;9家企业则选择重点布局数字人、元宇宙领域。
广告行业
AIGC内容可能会最早应用在点击付费广告上
农夫山泉生肖龙AI绘画小程序上线,20天吸引网友创作一百多万张龙宝宝画作;可口可乐“龙连你我”系列活动用AI带领百万人冲击吉尼斯挑战……自AIGC问世以来,就已让不少广告人感到压力,龙年开局的几个优秀传播案例更是都用上了AI元素。
“每天早晨,我都会根据自己拟定的主题创作方向,用Midjunery、文心一格等软件来训练图片,直到生成6组满意的(图片),分发到视频号、小红书和抖音上。一年来运营三个账号的成本只有几千元,这在以前是完全想不到的,此前为图库付费都要几万甚至更多。”田海龙告诉新京报贝壳财经记者。
田海龙此前是一家A股上市传播机构的设计创意总监,有近20年广告设计经验。从2023年开始尝试用AIGC辅助创意设计工作。他孵化的“龙哥的AI实验室”账号仅用10个月就获得了“视频号2023年度优秀创作者”,训练生成的图片作品入选国剧盛典、新华社活动,他自己也成了“文心一格”的核心训练师。
“目前国内的专业文生图模型经历了至少四次迭代。第一代模型输出的图片完全不具备图片基本使用需求,也不符合我的审美。有天早晨,某款模型的产品人员提示我模型升级了,我用此前用过的提示词试了一下,结果出来的图片超出我的预期。但直到第三代模型出来之前,我都不敢用它训练人像图片,因为(模型)对人像的五官无法正常表现,理解误差大,直到第三代模型专门针对人像进行了优化。”田海龙指着手机上他用不同版本模型训练出的图片告诉记者。
田海龙这样描述他使用过的国外和国内文生图模型的差异,“教育的环境、方法、师资的水平以及优秀教师的数量都不在一个水平,结果导致不管是画质、细节、像素,还是画幅、景深,国内模型生成的图都略逊于国外模型,但也能感受到国内模型的进步速度之快。”他个人判断是由于优质训练内容和算力投入的不足,导致了中文模型的弱点。
经过超10个月的深度使用,田海龙认为AIGC生成的内容目前尚无法实现高端客户对定制和创新内容的需求,因为目前的模型都是通用型,还没有针对广告设计行业优化训练的模型。
“但一些基础需求,比如对品牌要求不高的提案设计稿、概念稿,以及传播配图、热点海报等是可以满足的。原本五人左右的团队,现在会被一个人的‘超级个体’取代,尤其目前消费降级,客户对品牌调性的要求相对较低。”田海龙说。此外,他认为形成有个人特色的AIGC图库,出售图片版权,也是一种商业路径。
海外独立导演杜兰馨也持类似观点,“比较大型的广告公司才会做上百万甚至上千万的广告。中小企业的商业视频,10万到20万水平的广告片,Sora的技术是可以达到。”
无法实现定制和创新的局限也体现在技术细节上。据公开信息,Sora的技术路线继承了此前公开的DALL-E文生图模型,有一定程度的创新,但并非颠覆性,因此当下Sora不可能产生真正“原创性”的内容,依然高度依赖人为调教。
受访的不少从业者表示,AIGC内容可能会最早应用在CPC广告上。“因为它可以质量低,可以和产品没那么贴合,只要来用户量就行。”从事游戏项目用户增长的张青说。
据介绍,在游戏行业CPC广告投放大多交给外包公司。陈星表示,“如果未来AIGC模型上线了选区修改功能,就能直接在原素材上进行修改,一直改出自己想要的效果”。张青判断,在成本受限的情况下,公司可能倾向于选择用AI生成相关广告,而不再使用外包公司。
影视行业
AIGC内容缺乏叙事性,只能作素材或前期预览
在影视行业中,2月6日上线的古装探案剧《大唐狄公案》中就用到了人工智能生成。第一集中,镜头从青砖古瓦的恢宏建筑扫过,展示了一座大型古代长安城全景,街道行人、亭台楼阁、古体建筑都由AI生成。
剧集由优酷和儒意影业等出品,AI技术由阿里大文娱研发。优酷方面表示,使用AI生成长安城,主要原因是因为国内没有完整的唐代长安城实景地,而传统特效在画面转场的精度、流畅度方面也无法满足剧组需求,而且拍摄时间很紧,剧组知道阿里大文娱的技术后,就决定采用这套方案。但记者注意到,该片中生成的长安城主要是大全景,细节特写及人物较少。
此前优酷的爆款剧《异人之下》则使用了AI数字人演员。阿里大文娱首席技术官郑勇在此前接受新京报采访时表示,相较传统虚拟制作,通过自研AI技术打造的数字人厘里,在《异人之下》中降低了在建模、原画等环节投入的成本和时间,也避免了对动捕技术的依赖,让制作成本降低了80%,效率提升40%,呈现效果也更趋近于真人拍摄。
此外,阿里大文娱还在研究一套针对特效影片的“预演”系统,该系统受到漫威的启发,漫威在拍摄特效影片时会将电影最复杂的部分“预演”出来。
虽然已经有局部应用,但大多受访的影视行业人士认为,逻辑的连贯性、细节的可操作性以及叙事性,都会影响到AIGC在高质量影视行业的应用。“还不知道Sora生成一个视频的周期是多久,也不知道视频的分辨率、帧速率等指标能达到什么程度,这些都需要正式公测才知道。目前来看,它会很适用于短视频的制作,但要影响到对质量、品质有较高要求的影视行业,还有很长路要走。”DNEG高级环境艺术家李建锋表示。
“生成出来的视频是类似于空镜头的比较万能的镜头,最先替代的可能是纯视频素材提供网站,小团队、小作坊可能会用,广告公司应该还不会。对电影级别的视频制作,最多就是导演拍摄前做辅助,不过因为叙事性缺乏可能连这个都做不了,毕竟现在连比较成熟的文生图都没办法完全取代故事版的地位,更不用说预览了。”李建锋说。
中国科普作协科学与影视融合专委会常务副主任林育智也在采访中表达了类似观点。“电影从来不是简单的画面和声音的组合,它是我们的情感共情与共鸣,是我们和这个社会的人文思辨,是一段脱离于这个世界的沉浸,这是AI无法取代的。”林育智说。他此前曾任《独行月球》《三体》《流浪地球2》等科幻作品的科学顾问。
展望
已经实现指数级进步,但仍无法取代现有行业
在被问及AIGC内容距离满足定制化需求、实现商业化还有哪些路要走时,中国艺术科技研究所数字艺术部主任张宜春总结了三大方面。
其一在技术方面,虽然目前的AIGC工具能够出现让人较为满意的结果,但是如果细抠目前AIGC工具所生成的图片、视频,总会在细节上看出一些脱离真实的小错误。因此用作最终落地的产品,特别是要求精益求精的各个场景,依然不能完美满足客户的要求。其二来自于观念,目前AIGC所生成的东西,尚没有能够摆脱人类已有认知领域的桎梏,形成超越人类想象力边界的新东西,更像是对人类已有经验的整合和加工。即AIGC做的东西还不足以和现在的艺术创作观念、格调相匹配。其三在设计和艺术层面,目前AIGC生成内容的想象力和创造力,还没有超越人类已有认知,也就是缺乏那么一点点让人产生震撼的“不同”,因此达不到艺术设计创作在实用中的效果。
但他表示,“随着AIGC工具的不断进化,而且随着使用工具者的人员规模和操作水平提升,目前所限制的三个条件,有可能在未来某个时间点,不再成为障碍。毕竟,我们已经看到很多人,在以文生图的设计中,表现出了足够的创造力,未来只是如何将这种个人的想象力转化成实际的视觉结果,这也是AIGC正在做和未来也将要做的事情。”
中央财经大学中国互联网经济研究院副院长刘航研究员认为,简单利用Sora所生成的视频未必真正符合行业的实际需求,需要技术人员找到与人工智能更有效的沟通与互动方式,才能不断缩小文生视频技术与从业者需求之间的差距,“这实际对从业者在理解并掌握人工智能技术层面的能力提出了更高要求”。
游戏行业的陈星认为目前的AIGC还不能满足用户对接续感的要求。“游戏不可能只短暂玩一下,玩家探索游戏世界需要很长时间,游戏世界中的每个地方也需要连接在一起。”他认为,即使Sora的生成时长得到拓展,也存在所谓的上限,“依据我对算法的理解,生成内容越长,算法对前面生成内容的记忆越弱”。
成本也成为一大限制因素。“就算Sora生成的视频能够用到游戏中,目前也需要通过3D建模、游戏引擎等拼接游戏片段以实现效果,这难免与‘节约成本’背离。”陈星说。
“游戏很多画面需要实时生成,使用Sora实时生成游戏画面将耗费巨大的算力,如果是API(应用程序接口)形式,价格会很贵,如果是模型推理按照目前的云端服务器来说,这对游戏厂商和普通玩家都是压力,小厂商基本无法支撑。”陈星说。
面对AIGC内容过多,可能会影响平台的内容质量,造成虚拟和真实的难以区分,甚至会带来侵权风险和失业风险。张宜春建议,首先,所有AIGC的生成物,必须有人类可识别的标识,表明其特性,避免理性上的误导。其次,在AIGC的技术检测方法上,工具创作者、使用者、发布者必须建立起严格的技术链条,统一完成人工内容和AI生成内容的检测和甄别。“对于形象模仿等肖像权的模仿,我觉得可以展开相关的法律制度和分配制度研究工作,建立其‘多方参与、各方受益、社会广泛监督、总体宽容、加强社会组织功能’的AIGC新生态。”张宜春说。
新京报首席记者 白金蕾 记者 韦英姿
编辑 张冰 校对 刘越