3D模型与AIGC:移动影像的未来趋势?

发表时间: 2023-07-31 10:33

vivo X90s 影像模组

进入2023年下半年,智能手机市场在影像上的军备竞赛有增无减。更大面积的传感器、光学防抖、全焦距的焦段覆盖,正在成为高端智能手机的标配,也有着逐渐普及的趋势。

然而智能手机毕竟是一种大众消费品,重量和体积都会制约影像配置的无限增长。而在消费者端,用户往往对于影像原理不甚了解。因此就需要厂商不断在软件、算法层面,去解决实际的问题。

7月底,vivo首次向外界展示了其位于重庆工厂的3D影像实验室,并宣布相关技术将会率先应用在下一代X系列旗舰手机上。

vivo 3D影像实验室内部

vivo 3D影像实验室,主要是由100余台单反相机,配合闪光灯、处理器、控制器和服务器所组成。通过采集大量的人体躯干、面部信息,最终实现对于智能手机人像拍摄的提高。

采集人体信息时,vivo 3D影像实验室会同时调动100多台单反相机,从不同的角度进行拍摄,生成100余张2D图片,随后通过局域网上传至存储服务器,再通过2D图片进行3D匹配,生成3D模型。

基于生成的3D模型,vivo可以实现对于算法的训练,提升人像模式下,模拟背景虚化的精确性。据vivo工作人员介绍,预计每年将会有上万组3D人像模型。

传统的智能手机人像虚化算法,往往是在2D层面,判断人的轮廓来实现虚化,不具备3D层面的深度信息,因此主体与背景之间往往会过渡的比较生硬,“抠”出来的背景也会缺少层次。

通过大量的3D模型进行预训练,vivo的算法可以变得更加智能,智能手机可以更好的判断人的纵深信息,使得虚化更具有渐进感也更加细腻。

vivo X90s样片

此外3D模型加入之后,智能手机的人像虚化算法应用范围可以进一步扩大。目前人像虚化算法由于缺乏深度方向的信息,只能拍摄全身像或是半身像,未来则可以近距离贴脸拍摄眼睛的特写虚化画面。

在3D模型之外,vivo有一套“重打光”的设备。由96个可编程的同步光源搭配vivo的工业相机。与拍照工作站以及服务器共同组成,可以模拟不同光照条件下的成像图片,为自研人像算法做数据支撑,促进3D重建和3D算法方面的开发和预研,提升手机上的算法效果。

例如在加入重打光技术后,vivo手机可以对前期拍摄到的“逆光黑脸”进行高精度补光,甚至是调整光线的冷暖色温。生成式人像编辑则能通过纹理重建与光照估计算法等技术,让用户基于自身喜好对光照、年龄、发型、表情等内容进行重新编辑。

vivo影像活动现场

基于人像3D重建感知能力,vivo还可以叠加AIGC算法,通过vivo手机即可拍摄出虚拟与实景结合更为自然的照片,实现“足不出户拍出四季人像大片”的人性化体验。

在此之外,3D影像的相关技术可以应用在如今火爆的3D虚拟人应用上。包括抖音上比较火的3D数字人直播、3D表情驱动、3D的虚拟场景编辑以及相应的一个动画制作。

此外还有基于3D影像衍生的3D换装应用,可以根据采集者的人体模型,在虚拟场景内实现足球游戏,目前在vivo手机和平板电脑上已经可以进行演示。

vivo 3D影像实验室于2022年下半年组建,全球共有7个实验室。预期2023年下半年到2024年将会采集几万组数据。这些高质量的数据未来将会与vivo全球的用户一起组建兼顾质量和数量的庞大数据库。据vivo工作人员介绍,相关技术落地,将会在vivo X系列的下一代产品上率先应用。

钛媒体App了解到,类似vivo这种通过大量采集数据,建立数据库以优化算法的实验室,在传统相机领域早已有之,但vivo应该是通过3D模型实现多重优化以及AIGC相关应用的第一家智能手机厂商。

某种意义上,自建影像实验室标志着vivo在影像领域的研究进入了深水区,而能够借助AI的东风,扩展智能手机影像的边界,则是vivo探索出来的一条创新之路,也许会开拓出智能手机影像的全新方向。(本文首发钛媒体App 作者/吴泓磊 编辑/钟毅)