AI技术与安全的融合趋势探讨

主持人：“i搜，请你来说一说我们的主办方之一中国电信在AI领域有哪些成果？”

电脑端的i搜：“好的，通过360AI搜索分析，中国电信作为全球领先的电信运营商之一，在AI领域取得了显著的成果和进展，尤其在大模型技术创新和行业应用方面处于行业领导者地位。其中，星辰大模型是中国电信自主研发且央企首个开源的千亿参数大模型……”

近日在ISC.AI 2024上海AI峰会（ISC为互联网安全大会）的开场，主持人和AI搜索就展开了这样的一个对话，而在整个论坛过程中，这个基于大模型的搜索也通过现场嘉宾的发言不断进行速记和解析。

“人工智能作为新一轮科技革命和产业变革的重要群动力，正深刻影响着全球经济结构和社会发展，随着技术持续迭代引进，人工智能的安全也日益成为全球关注的焦点。”上海市普陀区人民政府副区长周如意在峰会致辞中这样说。

AI时代，安全问题引发全球关注

去年11月，包括中国、美国在内的28个国家和欧盟共同签署了《布莱切利人工智能安全宣言》，一致认为前沿的人工智能技术可能会引发巨大的风险，这也是全球第一份针对人工智能安全的国际性声明。

刚刚闭幕的第二届三中全会明确指出，要加强网络安全体制的建设，建立人工智能安全的监管制度，上海在人工智能方面也开展了诸多的探索和实践，出台并实施我国首部人工智能省级地方性法规《上海市促进人工智能产业发展条例》，探索构建体系化的治理框架，统筹人工智能发展与安全，发布《人工智能标准化体系建设指导意见》，推动上海在人工智能标准领域的先行先试，努力培育人工智能高水平的上海标准。

“上个月在上海举办的第七届世界人工智能大会，从一个区域性的展会变成了科技外交的主战场，此次大会加上了‘暨高级别安全治理大会’，这也说明安全在这方面的至关重要不容忽视。”中国电信上海分公司副总经理胡伟良说。

人工智能下，安全隐忧大量出现

360集团首席运营官叶健在现场表示，大模型带来巨大机会的同时，也带来巨大挑战，“我看到一个数据，可能不太准确，大概以大模型为主现在全世界的收入大概是60亿美金左右，其中大约90%被OpenAI一家拿走了。但购买算力的部分，英伟达获益最多，大概是上千亿美金，最后拉升几十万亿的市值，包括微软很多的公司。”叶健说，这可能是一场工业革命，有进取心的企业都不敢放弃。“一方面大家投入很足，好像看不到产出，但另一方面谁都不敢放弃在这场工业级革命之前被淘汰。”

“现在企业都在积极拥抱大模型，同时人工智能在用的时候，无论是隐私的泄露、算法的歧视等等都会带来一些问题。”俄罗斯自然科学院外籍院士、赛迪研究院副总工刘权说，从人工智能自身的安全讲，无论从硬件、操作系统、AI的框架、算法等等，都有诸多的问题，比如说在硬件领域，我们为什么要建一些防磁的安全机房，比如说电磁包括操作系统领域的权限管理，加快AI框架的支撑漏洞，尤其模型应用领域的算法，各个环节都会带来一些安全问题。

在刘权看来，目前最主要的是数据安全问题，包括三星客户信息泄露的事件，人工智能使用的过程中，个人隐私、企业敏感数据、以及一些知识产权的网上拓扑或网络爬虫的一些知识产权保护的问题等，这些安全问题非常突出。

“算法本身有歧视的问题，有一些对人工智能使用较少的弱势群体，在人工智能这个算法下，其在未来人工智能的差距或者这个鸿沟会非常大。”刘权说，算法本身包括黑盒子、鲁棒性、可预测性、可解释性这些问题，目前都是黑盒子，有很多的问题需要业内解决。

刘权说，有了人工智能的加持，网络攻击的成本和门槛越来越低，甚至几分钟时间就可以学会恶意攻击软件。每个人在互联网上输入用户名和密码，如果出现网络攻击，据了解，一个小时大约80%的密码都可以被解掉，有了人工智能加持这个方面会非常多，包括现在身份伪造诈骗的现象也越来越多了。

加大技术创新，促进数据安全

如何应对AI时代的安全问题？

俄罗斯自然科学院外籍院士、赛迪研究院副总工刘权认为，在法律层面尤其是对于人工智能企业数据的收集和数据的保护机制上，进一步的加强，包括数据来源的合法性，包括数据生成的合规性，是不是符合我们的价值观，都要考虑。

其次，要加大技术创新力度，促进数据安全，包括安全计算、隐私计算、机密计算等很多的包括一些理论上的研究，这里有大量的工作需要做。

从人工智能的自身安全上来说，无论是硬件、操作系统、AI框架，一方面要加强人工智能的安全底层设计，完善人工智能的治理体系；另一方面加强人工智能的应用安全工作，包括进一步完善人工智能算法体系相关的出台、增强人工智能技术治理的能力、加强人工智能应用的网络安全风险评估和分级分类的研究标准等。