中场战事:AIGC音乐的技术、产品与商业规则解析

发表时间: 2023-11-21 20:21

作者 | 朋朋 编辑 | 范志辉

最近,谷歌围绕着AIGC音乐打出了一套“组合拳”。

11月16日,谷歌旗下 DeepMind发布了最新的AIGC音乐生成模型Lyria,并与YouTube合作打造了两个重要应用场景:Dream Track和Music AI tools。同时,谷歌和YouTube还将AI识别工具SynthID扩展到音乐领域,为Lyria生成的AI作品打上水印。

除了多个空降的AI音乐工具以外,谷歌还在紧锣密鼓地扫除AIGC音乐所面临的版权与道德问题。11月14日,谷歌旗下YouTube也发布博客文章《在YouTube上实施负责的AI创新的方法》,宣布了一系列关于AIGC内容的治理规则,将在未来几个月逐步实施。

可以看到,谷歌正在以其超强的音乐制作工具和明朗的治理路径,抓紧在AIGC音乐领域的布局。而另一边,环球音乐、华纳音乐等为代表的版权方与Spotify、Deezer等平台方也没闲着,AIGC音乐的中场战事已经拉开帷幕。

Lyria,目前最强的AIGC音乐工具

“改变音乐创作的未来。”

11月16日,DeepMind以这个言简意赅的标题发布了博客文章,介绍了他们最新的AIGC音乐生成模型Lyria。相较于AI生成对话音频,AI音乐模型需要“同时生成声音的长序列”,难点在于“保持音乐在听感上的连续性”。

这一全新的AI模型更加成熟,见长于“用乐器和人声生成高质量音乐、完成包含不同音乐风格转换和歌曲续写的任务,让用户可以更加细致地调试所输出音乐的风格和表现”。

同时,DeepMind与YouTube合作,为Lyria打造了两个重要的应用场景:Dream Track和Music AI tools。

其中,Dream Track主要面向YouTube Shorts上的短视频创作者。这一工具目前向部分美国创作者提供了一系列授权的艺术家音源,只需输入一个主题,并选择一个艺术家,Lyria模型将生成一段30秒的视频配乐,并同时生成配乐的音轨和歌词。

截至目前,参与其中的艺术家音源已经包括Alec Benjamin、Charlie Puth、Charli XCX、Demi Lovato、John Legend、Sia,、T-Pain、Troye Sivan、Papoose等等。

而Music AI tools则主要面向音乐人、艺术家以及制作人。谷歌表示,他们的研究人员一直与YouTube的AI孵化器中的艺术家、词曲作者以及制作人合作,测试这一工具以便更好地支持音乐创作。

在Music AI tools上,音乐人只需要哼唱一段旋律,就能生成相应的曲谱;输入一段MIDI和弦,就能生成相应的AI演唱;还可以在声轨中随意地加入一段器乐伴奏,就可以生成相应的音乐作品。

依靠这一工具,音乐人创建用人声和乐器创作原始的音乐作品,随后AI就会帮助他们试验各种各样的音乐风格、调试纷繁复杂的伴奏乐器,最终形成一首包含了器乐伴奏和人声的完整作品。

除此之外,为了保障音乐人和创作者的权益,所有使用Lyria模型辅助创作和发布的音乐作品都将使用SynthID进行标记和识别。就在11 月,SynthID 正式扩展到音乐和音频领域AI水印的添加和识别。

据了解,SynthID将在AIGC的音频内容中嵌入水印,这种水印人耳听不到,不会影响用户的收听体验。唯有将声音转换成为二维可视化的频谱图,水印才会被识别工具所捕获,哪怕歌曲经过噪音增加、MP3压缩、加速或降速等处理,SynthID仍能检测到歌曲中水印的存在。

Lyria一经发布,将凭借着强大的功能受到广泛的关注,外媒一度称之为“音乐行业的未来”。 然而,强大的Lyria离不开此前谷歌在AudioLM和MusicLM的实践中累积下来的技术基础。

AudioLM是谷歌在2022年9月发布的AI音乐模型,作为一个纯音频模型,它只需收听音频,就能生成和提示风格相符的连贯音乐。

2023年2月,谷歌又发布了一个AIGC音乐模型MusicLM。相较于AudioLM,它标记了一系列声音片段,并将它们映射到语义片段中进行训练。这就意味着,这一模型能够接收用户的文字或音频输入,并生成AI音乐作品。然而,谷歌表示,考虑到“可能引发音乐人的抗议和版权风险”,并没有正式发布这一模型,只进行了小范围的开放测试。

毫无疑问,从MusicLM到Lyria,经过更多的音乐素材训练,Lyria模型所生成的音乐更加精准、更加有深度。然而更重要的是,AIGC音乐模型正在被更多的音乐人接纳,而谷歌也在与唱片公司的博弈中,逐渐学会规避AIGC的版权风险。

如何构建AIGC音乐时代的商业规则?

时间回到7个月前。

一首名为《Heart on My Sleeve》的AIGC歌曲在全网病毒式传播。很快,这首歌激怒Drake和The Weeknd背后的唱片公司环球音乐。在环球音乐的投诉下,《Heart on My Sleeve》迎来了全网下架

如今,这首歌带来的长尾效应,让YouTube开始正视AIGC音乐使用的限制问题。

在11月14日的公开博客中,YouTube表示“将为平台上的音乐伙伴上线一项新的权益”,他们可以要求删除那些“模仿艺术家独特的演唱或说唱的AIGC内容”。而平台在评定这些要求时会考虑许多因素,比如这段音乐是否来自“新闻报道、分析或者评论”。

同时,YouTube在今年8月与环球音乐达成伙伴关系,共同研发AI音乐工具。因此,这些有争议的内容也将面向AI工具研发团队的音乐人和唱片公司开放,并且在未来几个月,YouTube将持续扩大开放范围。

可见,训练AI模型所用的素材是否合乎版权规定,是音乐平台与唱片公司争议的核心。避免版权风险,获得艺术家的支持,是各家努力的同一方向。

遵循这一行动逻辑,Spotify选择在播客领域用AI“克隆”明星,而不是争议更加激烈的音乐领域。

今年9月,Spotify推出新的AI语音克隆工具。在OpenAI的自动语音识别模型Whisper的技术支持下,人物能够自动切换到西班牙语、法语和德语等各种语言,而且是“完全原声”,连说话节奏,语气都能还原。这不仅没有受到播客市场的不满,反而获得了Dax Shepard、Monica Padman、Lex Fridman等许多著名播客主的授权。

平息音乐内容在版权端的争议外,平台方还在加强AIGC内容的甄别与提示。

据悉,YouTube的新规将要求创作者披露他们“合成或修改的内容”,并要表明其“修改或合成的材料”,以及他们“使用的AI工具”。而YouTube将会在描述页增加一个新的标签,指出该内容的“声音或者画面是被更改或者合成的”。

YouTube此举可能正是受到了TikTok的启发。

早在今年9月19日,TikTok就要求创作者给AI制作的内容贴上“AI生成”的标签。此外,TikTok还表示,正在测试新的自动工具,以标记“我们检测到的是用AI编辑或创作的内容”,而这也成为接下来许多平台规制AIGC的工作重点。

在YouTube的公开博客中,表示接下来将集中部署运用“机器学习技术和审核人员相结合”的方式来“执行社区的准则”。其中,“AI工具有助于大规模检测潜在的违规内容,而审核人员会努力确认内容是否确实越过了政策界限”。而这可能正指的是首次扩展到音乐领域的SynthID。

几乎同时,Believe也对外公布了AI音乐识别技术,并对识别的准确度进行了公开。

近期,Believe在Q3季度的财报中表示,他们“创造了一些令人兴奋的AI技术”,该软件能以98%的准确率判断音乐是否是人工智能生成的,并以93%的准确率判断它是否为“深度伪造”。公告表示,这项被称之为“AI雷达”的技术正在逐步应用。

从AIGC音乐的版权保护、用户提示到相关识别技术,谷歌、Spotify、Believe、TikTok等各家平台都走出了大致相仿的规制路径。但直面AIGC的泛滥,在硬币的另一面,各家平台也紧锣密鼓地加紧了在AIGC领域的布局。

正如前文所提到的,YouTube就与环球音乐达成合作,启动了一个音乐AI孵化器,与环球旗下的艺术家合作探索人工智能在音乐中的应用。艺术家能提前接触到正在开发的人工智能产品,并提供反馈。而此次的Music AI Tools就充分考虑了这些艺术家的意见。

与此同时,YouTube还与三大唱片公司进行洽谈,希望能使用他们的版权音乐进行AI模型训练。不过,从目前Dream Track合作艺人中主要集中在环球音乐、华纳音乐以及其他唱片公司的音乐人时,看来索尼音乐还没有谈成。

当与唱片公司合作进行AIGC内容创作的机遇十分有限,不乏有平台方另辟蹊径。

例如,2022年12月,Deezer就推出了app Zen,主要为用户提供“健康指导、锻炼音频以及沉浸式的助眠、疗愈音乐和音频”。目前,Deezer正在使用AI技术为该平台生产内容。

在国内,网易云音乐也上线了AI音乐制作平台Xstudio,与小冰公司合作,为音乐创作者提供可供使用的AI音源;TME旗下银河音效、MUSE、天琴实验室和Tencent AI Lab共同打造了智能音乐创作助手TME Studio,集成了音乐分离、MIR计算、辅助写词、智能曲谱等系列AI功能。

显而易见,在AIGC音乐的浪潮中,手握版权的唱片公司和音乐人始终冲在技术限制的第一线。而各家平台都在尽力协调,在允许平台上的创新行为与保护艺术家受版权保护的作品之间实现平衡。

正如Deezer的CEO Jeronimo Folgueira所言:“对于流媒体平台,AI是个大问题,但是个更大的机遇”。

AIGC浪潮不会倒退,UGC时代已经给出过答案

2023年9月末,华纳音乐集团的新任CEO Robert Kyncl参加了在加州举办的2023年代码大会。他在演讲中就指出,AIGC与UGC“类比非常明显”。AI技术的威胁,也能从UGC中找到解决办法。

在华纳音乐履职前,Kyncl曾在YouTube和Netflix工作过20年,他曾帮助YouTube开创了这个属于UGC内容和YouTube网红的时代,让YouTube在全球范围内保持自身的竞争力。

这段履历让Kyncl面对AIGC少了一些愤怒,多了一些平和,毕竟AIGC“这一浪潮并不会倒退”。

演讲中,Kyncl回顾了UGC刚刚兴起时的YouTube。那时,YouTube经常会受到大量内容所有者的投诉信息,表示自己的视频或者音乐未经本人许可就被上传到平台上。

直到2006年,谷歌收购了YouTube后,建立了一种版权识别的Content ID技术,追踪平台上受版权保护的内容,并给予版权所有者相应的权益,允许他们删除这些内容,或者从这些内容中获益。

正是此举,将YouTube与版权所有者的关系从对抗性关系转变成共赢的商业关系。

“这样一来,我们就建立了一个数十亿美元的业务,现在已是每年数十亿美元的业务。”Kyncl说,“这对每个人来说,都是一个令人难以置信的全新的收入来源。而AI就是这样的全新的超级工具。所以,我们也需要以同样的想法来对待它。”

依照YouTube在UGC时代的治理逻辑,Synth ID技术似乎有望成为下一个确保AIGC浪潮中各方利益的存在,接下来就剩下平台方与版权方就分配规则的谈判。

换言之,当平台标记出这些AIGC音乐,他们将如何处理这些音乐?如何与涉及的不同主体分配版权收益?作为训练AI语料库的音乐又要以何种比例瓜分收益?而这将成为平台能否建立起可持续的商业合作关系的关键。

不过,虽然有各类问题亟待解决,但是平台方所努力的方向却是清晰而明确的。

从PGC到UGC再到AIGC,每一次互联网内容生产的话语权变革都要面临新一轮的质疑与规范。正如当年,为了顺应UGC浪潮的发展所需,长短视频平台开启了音乐版权集中采买的时代。

现如今,AIGC面对的侵权问题则更为复杂。但在生产力的爆发和内容消费的热情面前,平台方终将再走一遍UGC时代的老路,与创作者、版权所有者再进行一次可能要长期存续的版权拉锯战。

不过,无论是平台方还是唱片公司,大家行进的方向其实是一致的,只是在前进的路上,共同探索运行规则罢了。

排版 | A