腾讯云推出全新AIGC存储方案,数据清洗与训练效能大幅提升

发表时间: 2024-04-09 21:53

4月8日,在腾讯云存储技术发布会上,腾讯云宣布其面向AIGC场景的云存储解决方案实现全面升级。据悉,使用新的解决方案,大模型的数据清洗和训练效率可提升一倍,所需时间缩短一半,为AI大模型的研发和应用提供了强有力的支持。

腾讯云AIGC云存储解决方案的核心竞争力在于其全面自研的存储引擎技术。该方案由对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品组成,是国内首个实现存储引擎全面自研的云存储解决方案。目前,已有80%的头部大模型企业,如百川智能、智谱、元象等,选择了腾讯云的AIGC云存储解决方案。

在AI大模型的研发生产流程中,数据采集与清洗、模型训练、推理是三大关键环节,每个环节都涉及海量的数据处理。

腾讯云对象存储COS支持单集群管理百EB级别存储规模,提供便捷、高效的数据公网接入能力,并支持多种协议,充分满足大模型PB级别的海量数据采集需求。COS通过自研数据加速器GooseFS提升数据访问性能,实现高达数TBps的读取带宽,显著提升数据清洗效率。

在模型训练环节,腾讯云自主研发的并行文件存储CFS Turbo,经过专门优化,每秒总读写吞吐达到TiB/s级别,每秒元数据性能高达百万OPS,为业界领先。CFS Turbo能够在10秒内完成3TB checkpoint文件的写入,大幅提升大模型训练效率。

此外,数据万象CI为大模型推理场景提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力,全面优化AIGC内容生产与管理模式,顺应监管导向,拓宽存储边界。

随着大模型应用的普及,存储需求将变得更加多样化和复杂化。在应对这一挑战的同时,腾讯云推出了Metalnsight产品,以满足多模态数据搜索的需求,并且在存储层面创新性地应对这些挑战。

当前存储技术主要应用于大模型的训练阶段,但随着大模型应用的普及,存储技术将逐步向智能存储和数据应用方向发展。同时,当前存储领域仍然需要解决稳定性、性能和性价比等核心问题,但随着大模型应用的持续增长,智能存储、数据治理和数据应用等方面将成为未来存储技术发展的重点。

会后,腾讯云存储总经理马文霜、腾讯云存储总经理陈峥、腾讯云文件存储总监陆志刚以及腾讯云智能存储总监叶嘉梁接受了极客公园在内的多家媒体群访,分享了腾讯云存储在AIGC场景下的能力升级,以及新一代的存储发展趋势,群访内容如下:

训练与存储策略

问:在大模型的训练环节有一个指标是Checkpoint写入时间,可否详细解释一下这个操作具体是什么,以及为什么重要?

马文霜:Checkpoint它其实是GPU的显存,刚刚也提到如果我们没有把Checkpoint周期性的保存下来的话,那么它的训练的话就像刚刚陆志刚讲的,比如说我们写个文档你没有保存的话,中途没有保存的话,一旦断电以后你的文档内容就全没了,大模型的训练其实也是一样的,它中间的这些结果的话如果你不保存的话,,一旦遇到任何一个卡掉卡或者任何一台机器宕机,前期的训练全部的功亏一篑了。所以说我们需要去写这个Checkpoint,那写这个Checkpoint为什么需要快才行呢?

第一,你写这个Checkpoint的时候它是所有的GPU全部要停下来,等你Checkpoint写完了,就说每个GPU都要把自己的显存写到共享存储里面,必须是所有的GPU它都写完了那我的GPU才能继续开始训练。也就是说,你这里写入的时间一定要非常短,如果你写的太长了,比如说你任何一个卡写慢了那可能其他人全部在等你,这样的话你GPU训练的效率就被拉低了,所以说我们就需要我们存储的话提供更高的写入带宽,让我们的写入包括刚刚陆志刚讲的,我们通过一些异步写入的方式让GPU的等待尽量的短。

问:在数据清洗环节腾讯云使用的是对象存储COS,但实际上在训练和推理阶段用到的是并行文件存储CFS Turbo,为什么在不同环节用不同的存储产品?在这个基础上底层的引擎也不一样,这两个环节的不同之处分别是什么?

马文霜:这个我来回答一下吧。清洗环节它的对象是互联网上原始数据,所以它的数据量是比较大的,一般到PB级甚至到EB级的。但是比如说清洗完了以后,可能它只是里面符合我们需要的那个内容其实只是里面的一小部分,所以说我们把原始数据放到COS里面的话主要是考虑到COS它的价格是更便宜,那这样的话我是可以付出更小的成本先把原始数据先存下来。我清洗完了以后,我里面有效的数据我提取出来了以后,那我放到Turbo里面,Turbo因为它是一个高带宽、高OPS、高IOPS的一个存储,它的存储的价格的话是比对象存储要高的。

为什么要放到Turbo里面呢?主要还是你在训练这个环节,因为它是要涉及到GPU集群效率的一个提升,因为如果你在训练这个环节你还是去用COS低成本存储的话,前面我们也讲过,因为它是一个regions的一个服务,标准是通过HTPP的方式去访问的,它的延迟自然是比较高的。那如果我们还去用COS的话那,我们GPU训练的效率就上不来,自然我们整个你训练的周期就会拉长。

问:在训练推理阶段用到的是异步模式,正常情况下Checkpoint是后面检查完了之后再进行下一阶段的训练,有看到其实是并行的,在这个过程中Checkpoint如果出问题了,后面的环节是不是反而会更多的花费时间?

陆志刚:我们设计这个异步模式就是考虑到这一点,它如果是中间会出问题的话,那我们下面存储的服务会去做一些重拾,数据不会丢掉,即使后端整个集群重启,这中间缓存的数据也会在集群重启之后刷入到后端的存储。我们这里做到的是客户使用原生的pinpoint(音)直接写入就可以,有些友商也做了类似的功能,但是它是需要去改pinpoint结构,去给它打一些补丁,要求客户安装补丁之后再去做到异步的操作。

问:看到腾讯云用了文件存储、对象存储来解决整个AIGC的问题,数据是怎么移动的?

马文霜:其实我们数据的话还是以整个COS数据湖作为底座,包括我们做完清洗你的数据的话,比如说我们现在一般用户它都会有一些数据平台它会去做一些数据的移动,比如说在我们的Turbo和COS之间做移动。

我们现在也有一些能力,像我们Turbo它其实跟我们底座COS它是打通的,其实我们之前有一些用户案例,因为跟这次的AIGC不是太相关,比如说它的数据它是先放在Turbo里边,一段时间以后我们可以通过Turbo下沉到COS里面去降成本,相当于它在Turbo里面只需要不太大的一个集群或者说容量来为它提供很好的性能,那这里的话其实它就不用再去付出它有对应的存储容量的成本,其实就是一个提升性价比的一个方案了。

问:对象存储COS在推理和训练中也会从上面读数据,CFS Turbo打通的话它是不是就通过Turbo那边直接在读数据,对象存储的数据不需要通过GooseFS了?

马文霜:我们提供的方案有两种,可以GooseFS作为加速,可以根据用户的场景用户自己来选择了。比如说有些用户他喜欢更全的文件访问的语义,这个就是我们Turbo提供更全的访问的语义,他可能更喜欢用Turbo来去完成的业务的处理。比如说有些用户他说我不想再去买一个Turbo,我就用COS加Goose加速器GooseFS那我也没有太多的语义需求的话,主要是读、写、删,做一些最佳什么的,其实GooseFS的话也能满足它的诉求,主要还是说我们提供了多种解决方案,还是为了方便用户的使用。

问:就PC或者手机而言,怎么看待存储在云端或者在本地?

陈峥:包括我们对象存储也好,其实我们提供了全链路的安全访问一些策略、措施,从数据的上云、清理、域训练包括最后的训练,就是我们对存储的数据都是做了一些加密的,用户的访问也是通过Tbps这种协议防止数据被篡改或者读取。其实我们的数据跟计算都是尽量的把数据推到训练所在的GPU或者一些清洗的一些CPU的附近,其实也就是你刚才讲的尽量做到本地,其实云上已经可以做到这种状态了。你自己再去做一些私有化的部署,其实跟我们云上所做的事情是类似的。

还有一个云上能够提供一个多住户的一个模式,可以基于我们计算资源也好或者存储资源也好,用户它是按需或者说有一些云上的一些错峰也好,能够给我们云上的客户提供更优质的,成本相对低廉的或者效率更高的,有可能我们会利用我们整个云上弹性的资源,就是说用户有一些业务突发或者有一些峰值的时候云上能够扛住的,反而你去做本地化的部署,你的资源就那么多,你的业务一下子涨了2倍、3倍,其实你的服务器就被打乱了。

腾讯云的技术路线

问:腾讯云一些技术架构上的创新,放在国际上或者业内的话怎么看?对于存储容量的需求不断增长,如何看待当前的存储需求上限和未来的发展趋势?

随着用户数量的增加,大模型的性能和效果可能会提升,但这也导致成本的增加。随着模型参数的增加,总体成本仍在上升。是否现有的降成本措施在面对未来更大模型的需求时可能只是杯水车薪?

马文霜:我先回答第一个、第二个问题。现在Turbo或者高性能存储在国际上或者说业内吧,业内并没有给用户提供一个开箱即用或者说用户需要这么高的带宽的时候它其实现在还是没有很好的产品形态能够满足用户的需求的,包括刚刚我们提到的我们友商也在做一些OEM这样的一个产品策略也是说想能够快速的满足用户对高带宽的这么一个诉求。

第二个,到底性能的天花板在哪里。现在有点说不清楚,为什么呢?因为我感觉大模型现在整个的技术甚至它的这种环境都不停的在变化,我们云厂商要做的就是说我们能很好的跟随这个变化,当用户说后续还继续去做对GPU卡去提升算力,去做更大参数的大模型,那我们也就只能去跟随,我们让我们的存储在这里面能够很好的帮助用户去做这样的一个尝试。

如果另外的一个发展方向是说可能是要把模型精简化或者说去做不需要那么大的算力,包括像现在也有一些创业团队在去做,他们叫做更聪明的AI基础设施就是我不需要这么多的卡,归根结底还是说我们也时刻跟随这个行业的发展趋势,我们做满足行业需要的存储产品。

陈峥:第三个的话是这样的,随着我们训练参数的提升,它其实对模型所需要的算力更存力其实都是有不同程度的提升的,只是说我们整个云存储团队在做产品演进和产品规划的时候是我们尽量的去在提升我们产品规格和性能的同时能够在客户使用存储的时候能够尽量的去帮客户提供更高性价比的产品,这个是我们整个云存储团队的一个初衷。

但是说算力这里,业界目前比较多的一个玩法是什么呢?它会先训练一个大模型,基于大模型上面再架小模型,就是去做一些微调,变向做一些性价比的提升,我不需要在多轮的基于大模型的去做,因为我大模型出来以后我基于小模型再去做一些微调其实也是可以达到它想要的效果的,这是目前业界普遍的一种做法。

基于这些考虑,我们在算力跟存力同时具备的时候,我们怎么能够在算力这里能够给客户提供更高性价比的产品是我们主要考虑的一个地方。

图片来源:视觉中国

问:腾讯团队内部包括跟混元这边一块去做技术判断的方法有没有一些可以分享的?

陈峥:我来回答一下这个问题吧。因为我们这边跟混元对接比较多。是这样的,混元它其实每到一个阶段它会提一个诉求,就是说我们希望达到什么程度。我们是基于混元提的它的诉求我们会去提前做一些预估或者做一些预判怎么去提升或者做我们产品的一些迭代或者是优化去满足整个混元对整个算力、存力要求的。算力这里相当于混元它有自己的一些考量,这个不是我们团队能够介入或者说去干预的。

AI 存储的市场需求

问:腾讯云现在的存储技术,不止是对AI的训练吧?

马文霜:对,包括我们的数据清洗其实它不一定是For AI的,我们还可以更大的数据清洗场景,包括我们跟大数据生态结合起来,但大数据那一块的能力的话,其实它不一定是AI相关的,还有包括像我们CFS Turbo的话,其实它还有很大一部分是在为隐私渲染,它其实也是需要很大的读写带宽的。相对来说我们整个的方案的话它是我们之前服务了除了AI以外,除了大模型以外其他的场景其实都是是用数据清洗,我们的高吞吐、高性能的文件存储,我们的数据审核,其实大部分的用户的话可能只是用到其中的一个环节。

问:解决方案升级价格会涨吗?

马文霜:价格我们是没有变化的。

问:现在来看哪些行业的客户可能会更愿意买或者更需要这样的服务?

陈峥:我们现在整个一套的云存储解决方案除了在AIGC这个领域之外,其实我们在自动驾驶这个领域其实案例是蛮多的,只是说自动驾驶它更侧重训练,它在推理这里会稍微偏少一些。AIGC它训练出它的模型之后,像目前比较多的C段的应用APP它其实是基于智能模型在做推理实际应用输出,其实现在整个业内的一些AIGC的应用大家应该都体验过,像KiMi是To C的一些东西,自动驾驶更侧重在B端,用户通过它的路采数据上来之后,海量的数据去做一些清洗、分割,然后再去输送到整个自动驾驶训练场景,能够产生一些模型的数据去辅助我们的车辆怎么去规避一些路障,能够自动驾驶行驶的过程。

除了我们同事刚才说的,还包括渲染,在一些电影动画里面去做渲染,其实也是用到我们整个云存储的解决方案。我们今天做的发布升级主要是应用场景是讲AIGC,就包括我们自研的混元,包括我们外界支持的大模型之外,其实各行各业基于我们整个云存储的底座,我们云存储底座提供了更多的解决方案能够适配各行各业。

问:方案里面有提到腾讯云是业内唯一云原生自研并行文件的存储引擎,行业内其他厂商是怎么做的?他们有没有提供类似的产品?

马文霜:现在行业内我们有些友商是国外产品为用户提供并行的文件存储的场景,这个也是业内一个通用的一个做法。为什么呢?用户需要这样高性能,就是这么强的文件存储,但是现在由于友商前期的布局或者准备不足的话,现在的市场需求又是比较的迫切,去o一个商业化的软件或者说产品也是顺理成章的。

我们4年前就在布局高性能文件存储这一块,刚好前期的布局和投入刚好在大模型的训练这一块派上了非常大的用场。

问:腾讯云AIGC存储解决方案的技术门槛是否适合外部客户使用?目前使用该解决方案的客户类型及其主要应用场景是什么样的?是否所有用户都需要这样高级的存储服务,或者MaaS等简化服务其实已经能满足大多数用户的需求?

陈峥:这个问题我来回答一下。我们整个自研业务里面,包括我们混元大模型其实也是基于我们整个AIGC云存储的一个底座来进行构建的,包括刚才大家说的我们基于Checkpoint写入其实也是基于我们的CFS Turbo高性能写入的一个新的架构,包括数据的清洗这些也是基于我们对象存储COS包括我们整个底座的存储引擎YottaStore进行构建的。在整个效率上,具体的数据我就不说了,整个效率包括我们的训练时间确实提升了2倍以上,从我们自研业务上来看。

从外部客户来看的话,AIGC清洗领域的一些创业公司应用了我们整个AIGC云存储的整个解决方案之后,包括我们的清洗、训练它的效率确实也得到了提升,包括在整个应对读写大带宽的时候、高吞吐的时候,跑出实际业务的值已经超出我们当时的想象,确实提升有数倍之多。

马文霜:我刚刚那个问题我稍微补充一下。我们其实两年前我们发布了我们CFS Turbo的第一个版本,当时我们是100GB的读写吞吐,我们当时觉得这个读写吞吐已经足够的大了,应该很多的业务已经用不到了,去年大模型出来了以后,大模型用CFS Turbo来去写Checkpoint,我们发现其实100G还远远不够。

我们实际业务场景里面,现在在我们云上实际的业务数据的话我现在也直接讲了,基本上我们有200G以上的甚至有跑到300多个GB的吞吐的,所以说现在我们这一次把能力的话升级到了一个TB,也是说我们希望我们把我们能力升级了以后能够更好的去让这些大模型的用户能更快的加速它的训练,提升效率。

未来趋势

问:第一个问题,Metalnsight产品中跨模态检索功能的技术细节是怎么样的?它怎么创新性地在存储层面满足多类型数据搜索的需求?第二个问题,这一轮技术浪潮到来之后,对于存储当下的一个变革以及未来的技术趋势四位是怎么展望的?

叶嘉梁:两个问题,我可能倒着稍微解答一下。因为其实我们可以看到包括前段时间Sora再往前GPT Sora再到最近一些音乐相关的Suno等等现在各种大模型的应用出来。其实对于整个存储而言,我们前面马大师讲整个大模型的时代下面我们需要怎样一个存储,其实我们要做的存储最核心的根本是稳定性、性能,可能还有性价比。大模型来的时候我们可以看到除了从以前的文本输入到现在后续的可能会有图片再到后来的视频输入,所以不单止是说是输入,输出这一块海量数据产出这一块随之而来的是在整个过程中,不管是采集、训练或者推理乃至说最后的存储、分发等等也好,它对存储的挑战是很大的。我们要在此基础之上提供更稳定的读写速度更快的,底层整个规模更高效的,弹性更高的等等相关的能力。这是对第二个问题的解答。

第一个问题,为啥刚才会有Metalnsight形态出来,我们可以看到今天的整个发布/整个解决方案我们是从采集,采集当然是基于我们现在云上各种产品,比如说我们有千亿服务MSP,有离线的千亿服务CDM等等相关,以及各种生态的产品我们去做好协议的兼容,使得进到我们整个存储湖的道路是被打通的,所以采集的路我们过往已经做了一些。在今天我们还有训练,有推理,然后还有应用,那在应用侧其实我们可以留意到现在国内的各种黑马也好或者说我们各大的创业公司他们在应用侧做了各种尝试,也跑出来好多一些相关创业公司。在应用侧他们会去基于类似GPT自研的各种大模型去做一些尝试,所以在应用侧我们是在AIGC场景所重要强调的。

那为啥我们的Metalnsight会提出来呢?其实我们可以看到我们一直说的云存储上云,除了去享受云上更丰富的算力、各种存力,其实数据上完云之后是否更方便的去检索了呢?这是在过往整个存储我们所遇到的,包括客户给我们提的问题中经常提的一个问题数据上来之后你怎么去快速的找到你所要的一个数据,怎么去在我的海量的视频文件里面我能找到我过往里面我所要的一些精彩的瞬间,怎么去通过我自然语言的输入我能够让计算机能听懂我人话的输入能够快速的去找出我相关的一些资源出来。所以我们基于我们的混元,还有底层内部的一些图文大模型以及腾讯云的向量数据库我们整体搭建了Metalnsight这一个形态,让存储本身能够基于它的我们叫Native AI,让存储本身的AI往上延伸出快速检索的相关的能力。

这是对第一个问题的解答。

图片来源:视觉中国

问:这个产品能不能算是大模型原生应用的一个产品?

叶嘉梁:从我们存储来看相当于是对大模型跟存储结合之后所延伸出来的一个产品。

问:那这个产品是不是更应该由混元那边的人来开发,这个产品直接由存储团队来做好像有点奇怪?

叶嘉梁:是这样的,其实混元它提供的更像是一个叫大模型,我们叫引擎,它是引擎能力之一,但其实存储这边有海量的数据,我们其实有入口,我们会有用户的更多它能授权的一些数据,另外也有客户最直面的一些诉求,基于这个引擎的能力,其实刚才前面也提到还有向量数据库等等我们需要把它做一个结合之后,包括我们还会在这一层做一些微调再去呈现一个更符合用户场景的一些能力。

其实刚才有提到,其实我们预制了上千个离线模板,可能这样更符合用户在使用对象存储时候的一些场景。当然最核心提到的能力,就是混元那一块图文大模型一些推理的能力,可能有一些向量化的能力会是混元他们更专业的人来去做的,我们跟他们也有一些打通合作。

问:今年开始有一些声音是说大模型其实从去年的百模大战到现在重点到了一个多模态,这样的变化对于腾讯云存储来说会有一些什么样的挑战?会如何应对这样的一些挑战和变化?

陈峥:多模态这里其实是根据不同的数据,可能就是文本、图片、视频,就是你怎么基于不同规格的数据去延伸出你需要的一个模型,就包括之前我们做的文生文是一个模型,文生图是一个模型,文生视频可能又是另外一个模型。所谓的多模型跟跨模态,不管你输入具体的数据是什么样的,我依据我的模型在后续推理过程中能够给到他想要数据的一种形态。

在多模态这里,我们在文生文、文生图、文生视频不断演进的过程中,其实我们的存储产品都是提前去做了一些考虑或者是一些布局或者是规划,怎么能够面对海量数据的增长,以前文生文、文生图片其实数据量没有多少,包括模型训练出来大小相当于是比较小的,反而现在文生视频出来之后这个数据的量级是直接上了一个量级的,同时训练出来的模型的参数以及包括刚刚说的检查点Checkpoint有一个倍数的增长关系,所以就说在这里我们在训练模型需要,我们对我们底层存储提的一些诉求其实是我们整个云存储团队去做规划和布局的,在业务需要同时我们能够满足客户或者说业务它需要的一种产品形态或者产品能力,这是第一个问题。

问:你们在升级解决方案的过程当中有观察到大模型行业有发生一些比较重要的变化吗?

陈峥:其实最开始整个IGC也是拿着比较先容易上手的一个领域,比如说文生文这种是比较简单的,你给模型问,模型给你一个回答,通过全网的输入输入你想要近似的一些答案可以做一些修改,现在用的比较多的像一些写手的APP。

文生图的话是为什么呢?人在对话的同时可能你想要一些视觉上、效果上你想要的,就游戏行业里面比较多的就做一些美工、美化这种,我们整个腾讯公司的游戏团队其实每个人会基于自己的数据去训练一个自己的小模型,基于这个模型它会喂一些数据产生出来它想要的一些图片它再做一些美化和美工。这个时候效率提升蛮高的,本来是一周的工作他一天就可以完成了,这个也跟游戏团队做了一些沟通和交流,问他们现在基于文生图的模型出来之后它效率提升的一个程度。

因为大家除了文跟图片之后,它其实对视频的效果其实也是有的,它是一层一层往上去提升的,可能到后面文生图片出来之后,各家都出来之后可能会延伸出我们有可能想象不到的是一种立体感的一种产品形态,可能现在我也说不清楚,因为科技在进步,包括整个云的产品、云的能力,包括模型训练这里,大家对模型、算法、大模型的思考不断演进的话,在底层支撑以及业务同时在同步与时俱进的时候,其实它可能会延伸出来一些新的产业形态,只是说这个产业形态我们也没有想特别清楚,因为我们毕竟是做底座的,只是说我们希望有一个新的产品形态出现的时候,我们整个云存储团队的产品能够满足客户的诉求,或者说满足业务的诉求。

马文霜:我再补充我们观察到的变化,Q1的话,我觉得大模型企业在云存储的消耗同比增加了,可能是大模型企业拿到的投资更多了吧。

问:当下的空间和未来的技术展望,几位老师怎么看?

马文霜:当下我觉得AIGC的应用虽然说也在爆发式的增长,但是我觉得还远没有到繁荣的一个阶段,当下我们存储首要还是解决的在大模型训练这个阶段,跟随着算力,跟随着网络,让它的训练能够高效的训练出各种各样,就是各种应用场景、各种行业的大模型出来。那天我看一个新闻就是说我们工信部认证的大模型都是180多个了,但我觉得这些模型其实还不一定够,因为还有各种垂类行业的大模型我觉得甚至我觉得后面可能每个人都会有一个大模型。

这么多的大模型出来以后,我觉得后续应用逐步的会更加的繁荣,那应用繁荣了以后AI生成的这些内容,我觉得会更加的是以指数式的爆发式增长。所以说现在我们存储的发展的话,当下先解决快、性能高、高性价比的问题,后面的话我认为会是在智能存储,就是叶嘉梁他做的这个方向,就是在数据的审核、数据治理、数据应用这个场景帮助更多我们的开发者、创业者、创业团队去做它的数据应用,我认为是后续很重要的一个方向。

陈峥:我大概说一下,最开始AIGC出来之后,开始是文生文、文生图,现在业界比较前沿的在文生视频,怎么通过文字能够延伸出大家都想要的一段视频,随着整个AIGC的发展,对数据它肯定会迎来一个爆发式的增长,以前是文本,现在延伸到图片,然后延伸到视频。在整个过程中对整个存储底座包括我们存储解决方案的要求只会越来越高,其实我们整个腾讯云云存储团队已经提前在这里做了布局,不管是我们的对象存储也好、文件存储也好还是块存储也好,以及我们的数据万象以及我们的一些日志服务,其实我们对不同的场景选定了AIGC也好或者是自动驾驶这个场景也好,我们针对每个业务的场景其实已经在预言未来2-3年可能对我们整个存储底座,技术指标也好或者说产品形态也好或者说产品能力或者规模各项指标的诉求我们已经提前在做一些预言,满足未来2-3年或者3-5年业务的发展。

马大师刚才也讲了,除了我们的稳定也好、快也好,这个只是我们现阶段在做的一个事情,其实我们像Metalnsight已经提前去在做一些布局,就是把我们整个数据的价值能不能开放给客户,带给我们的客户,这样的话能够让客户在存好的同时怎么把数据用好,这样才能把我们做存储的初衷就是把价值反馈给我们的客户,这个是我们整个腾讯云存储团队一直在思考并不断去更新去迭代的一个过程。