揭秘AI造假背后的真相

AI的技术迭代远远快于监管的速度，近一年来，涉及名人的造假视频层出不穷，这甚至已引起了“股神”巴菲特的重视。

当地时间10月23日，巴菲特旗下伯克希尔·哈撒韦公司在官网罕见发表声明，强调公司董事长巴菲特不会在社交媒体上推荐任何投资产品和政治候选人。

这份声明中提到，现在人们越来越多地使用社交媒体，关于巴菲特代言投资产品以及他支持政治候选人的欺诈性声明层出不穷。“巴菲特目前并未、将来也不会代言投资产品、以及代言或支持政治候选人。”此次促使巴菲特发表声明的直接原因，在于他看到了Meta旗下的Instagram平台上有虚假的政治支持信息。

在今年5月的股东大会上，巴菲特曾提及AI，他将AI的出现比喻为原子弹，“我们已经让精灵从瓶子里跳了出来，它现在正在做一些坏事。”他表示，AI的发展让自己有些紧张，AI也会引发欺诈问题。

在有关AI合成的深度伪造视频中，如巴菲特这样的名人经常被波及。Sensity是检测深度伪造视频的公司，该机构发布的数据显示，深度造假广告常常使用巴菲特这样的著名投资者和亚马逊创始人杰夫·贝索斯（Jeff Bezos）等商界大佬这样的形象。

“深度伪造是目前最为突出、最为典型的AI风险之一。”北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括认为，这对于技术和管理规则都提出了进一步的要求。AI造假问题何解？上海大邦律师事务所高级合伙人游云庭对第一财经记者提到，通过技术能够部分解决问题，因为识别技术和生成技术都在升级，但不能指望识别技术解决全部问题，法规的改进是有滞后性的。

波及多位名人

造假视频背后的技术是深度伪造（Deepfake），其核心原理是利用深度学习算法将目标对象的面部“嫁接”到被模仿对象上，随着AI技术的进步，这一技术工具越来越普遍，门槛变低，容易被有心者利用，从目前已公开的事件来看，这一技术频繁被用于金融犯罪和性犯罪，而名人明星有更大概率被用于合成。

就在10月23日，老牌港星黄百鸣在社交媒体上发布了一则声明，提及自己被AI伪造用于代言。在声明中他称，发现有人盗用过去的影片，并利用人工智能技术替换声音，假借黄百鸣的名义代言一个不知名的药膏品牌，“这种行为纯属欺诈，旨在误导公众并从中取利”。

国庆期间，小米集团董事长雷军的伪造AI语音包在社交媒体上刷屏，在这些视频里“雷军”锐评了堵车、假期、调休、游戏等一切热门话题，言辞犀利，甚至还有一些不雅谩骂，引发网络关注。对此事件，雷军本人曾在自己个人社交账号的评论区回复了三个愤怒表情，表达态度。

在国外，Sensity数据显示，在2000多起深度伪造案件中，埃隆·马斯克（Elon Musk）的形象出现在了近四分之一的案件中，成为AI诈骗案中最常见的代言人之一。

今年8月，马斯克因AI伪造技术卷入了一场诈骗事件。82岁的退休老人史蒂夫·比彻姆（Steve Beauchamp）在网上看到了一段声称由马斯克亲自承诺收益的投资视频，随后他联系了视频背后的推销公司，并投资了超过69万美元。随后，这些钱就落入了诈骗犯之手。

据悉，这些诈骗者篡改了一段马斯克的真实采访，利用AI技术替换了他的声音，并微调了他的口型，以匹配他们为这个数字人编写的新剧本。对于一般观众来说，这种操作几乎察觉不出。

安全公司McAfee公布的一份榜单中，列举了被冒用最多的10个美国名人，包括斯嘉丽·约翰逊、凯莉詹纳、泰勒·斯威夫特和汤姆·汉克斯等。知名女歌手泰勒（Taylor Swift）可能是最开始让大众认识到深度伪造的名人，今年1月，大量由AI生成的泰勒不雅照在各大社交平台疯转，浏览量过千万，引发公众关注。

除了名人，也有不少涉及普通人的AI犯罪曾引发关注。8月，韩国出现多起利用AI换脸伪造女性色情露骨图像的犯罪案，犯罪者用深度伪造技术合成色情照片和视频，并通过群聊传播，参与者多达22万人，引发韩国民众恐慌。

在国内，今年6月，“男子用AI伪造学生同事近7000张裸照”冲上微博热搜。据央视新闻消息，犯罪嫌疑人用AI“一键去衣”技术，深度伪造淫秽图片近7000张，再每张1.5元卖出，赚了将近一万元。图片涉及女性人数多，包括学生、教师、同事。目前白某某已被提起公诉。

技术能解决部分问题

《2024人工智能安全报告》显示，2023年基于AI的深度伪造欺诈增长了3000％，仅今年上半年，AI诈骗案案值已超过1.85亿元。

“如果我之前有兴趣投资欺诈市场的话，它可能增长会很快。”巴菲特曾在股东大会上调侃。他认为，AI也有潜力去做好事，但是根据自己之前目睹的一些现象，“可能会有一些吓人”，且我们没有办法去做评估。

“这个‘精灵’的力量，有时候让我感到恐惧，而且它已经再也塞不回瓶子里了。”巴菲特希望，这样一个精灵在未来能够做好事。

鉴于深度伪造技术的潜在风险，各国政府和研究机构已经开始采取应对措施。

2024年7月23日，美国参议院通过了《2024年打击精准伪造图像和未经同意编辑法案》（Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024，DEFIANCE Act），允许私密数字伪造内容的受害人向恶意制作或传播的人寻求民事赔偿。根据这一法案，一般情形的损害原告可获得的赔偿额为15万美元，最高赔偿能到25万美元。

我国法律法规也对AI深度伪造作出了一定规制。今年9月，网信办发布的《人工智能生成合成内容标识办法（征求意见稿）》提出，AI生成合成内容，应当添加显式标识和隐式标识，前者可被明显感知，后者添加在元数据中。

2023年1月施行的《互联网信息服务深度合成管理规定》明确，“提供人脸、人声等生物识别信息编辑功能的，应当提示深度合成服务使用者依法告知被编辑的个人，并取得其单独同意”“可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识”等。

大型平台也已经开始重视这一问题。今年8月，谷歌宣布，将采取措施避免色情深度伪造内容出现在搜索结果中。谷歌表示，将简化受害者请求移除非自愿色情图像的流程，并且会过滤掉相关搜索的所有色情结果，还会删除重复的图像。

今年2月，OpenAI团队推出“AI生成内容识别器”，旨在识别文本是由电脑自动生成还是人类撰写，其本质上是一个区别真实内容和AI生成内容的分类器。不过，OpenAI在博客中指出，此识别器对AI撰写内容的检出成功率仅为26%。

吴沈括认为，从技术层面来看，对于应用，如通过标签水印的方式，对非法使用的预防具有良好的效果，但不足以解决所有的问题，所以需要通过法律法规，从主体的资质、业务规则、法律后果等多个层面做出规制。

游云庭提到，目前AI的识别技术和生成技术都在升级，技术能解决部分问题，但不能指望其能解决全部问题。“关于法规的改进，是永远有滞后性的，会一直落后于技术的发展。”

此外，AI造假引发的法律风险，责任该如何划分、技术方该不该担责也是一个问题。吴沈括表示，从责任主体来说，如果是以非法使用作为指向的，这种技术的提供是非法的，并且在现有法律中是予以处罚的。不过，针对他人的非法使用，技术方不直接承担法律责任。如果属于正常的技术范围被用于违法行为，技术提供方有一个相应恢复和改进技术设定的责任要求。

“技术提供方要不要承担责任，背后还是看他有没有履行法律法规要求的合规义务。如果履行了，哪怕出问题，也不应该承担责任，反之则要承担责任。”游云庭认为。

(本文来自第一财经)