腾讯云存储全面升级,支持AIGC且不提价,服务80%的顶尖大模型企业

发表时间: 2024-04-09 11:27

作者 | 香草
编辑 | 李水青

智东西4月8日报道,今日,腾讯云宣布云存储解决方案面向AIGC(生成式AI)场景全面升级,针对AI大模型数据采集清洗、训练、推理、数据治理全流程,提供全面高效的云存储支持。数据显示,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训练效率均提升一倍,需要的时间缩短一半。

▲腾讯云存储AIGC解决方案升级

据腾讯云存储总经理马文霜介绍,腾讯云AIGC云存储解决方案主要由对象存储COS、高性能并行文件存储CFS Turbo、数据加速器GooseFS和数据万象CI等产品组成,是国内首个实现存储引擎全面自研的云存储解决方案。目前,已经有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案,包括百川智能、智谱AI、元象等。

此前,腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。马文霜强调,本次存储方案“升级不加价”,价格方面没有任何变化。

一、实现秒级Checkpoint写入,端到端一条龙服务

大模型的研发生产流程,分为数据采集与清洗、模型训练、推理三大环节,其中每个环节都涉及海量的数据处理。尤其是目前大模型的参数量越“卷”越大,从十亿、百亿一直到万亿级,这对云基础设施提出了新要求。

▲大模型对云基础设施提出新要求

对此,腾讯云从每个环节分别入手,面向AIGC场景推出覆盖全链路的端到端解决方案升级,实现了低延时、高OPS(每秒操作数)。

在数据采集环节,腾讯云COS(对象存储)支持单集群管理百EB级别存储规模,提供便捷、高效的数据公网接入能力,并支持多种协议,充分支持大模型PB级别的海量数据采集。

▲腾讯云全自研对象存储引擎

同时,随着训练数据和推理数据的增长,需要低成本的存储能力以减少存储开销。对象存储服务提供了12个9的数据持久性和99.995%的数据可用性,能够为业务提供持续可用的存储服务。

在数据清洗环节,大数据引擎需要快速地读取并过滤出有效数据,COS通过自研数据加速器GooseFS提升数据访问性能,可实现高达数TBps的读取带宽,单次清洗任务耗时减少一半,单个文件读取速度提升10倍。

▲腾讯云自研数据加速服务

在模型训练环节,由于大模型训练时间一般长达数周甚至数月,在这期间,任何GPU出现故障都会导致训练终止,通常需要每2-4小时保存一次训练成果,以便能在GPU故障时时能回滚。因此,快速读写Checkpoint(检查点)文件也成了能否高效利用算力资源、提高训练效率的关键。

腾讯云自主研发并行文件存储CFS Turbo,面向AIGC训练场景的进行了专门优化,每秒总读写吞吐达到TiB/s级别,每秒元数据性能高达百万OPS,均为业界第一。面向3TB规模的Checkpoint,写入时间从10分钟缩短至10秒内,样本读取效率也提升50%。

▲腾讯云自研并行文件存储CFS Turbo

这一能力的背后,是腾讯云自研的文件存储引擎Histor,这也是业内唯一云原生自研并行文件存储引擎,其单客户端能力达10GiB/s,支持百万计OPS、千亿级文件扩展。

▲腾讯云自研文件存储引擎Histor

在数据审核阶段,大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云一站式内容智理平台数据万象CI推出图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等功能,为数据生产业务全流程提供有力支撑。

其中,明暗水印为每个AI作品生成专属ID,MetaInsight支持跨模态检索,可文搜图、文搜视频、图搜视频等,内容审核延时降低50%,支持全媒体类型。

▲腾讯云一站式内容智理平台数据万象

马文霜透露,目前国内80%的头部大模型企业都在用腾讯云存储服务,包括百川智能、智谱AI、元象、右脑科技等。

腾讯云智能存储产品总监叶嘉梁为我们演示了MetaInsight的智能检索功能,如输入一张红裙舞者照片,右边可以在对象存储直接找到对应的图片。

▲MetaInsight智能检索

通过自然语言输入,MetaInsight同样能在对象存储空间中输出符合描述的图片。

▲MetaInsight智能检索

二、存储引擎全面自研,四大核心技术实现高性能文件读写

腾讯云文件存储总监陆志刚解读了并行文件存储CFS Turbo的技术升级。据称,这是国内目前唯一实现存储引擎全面自研的云存储解决方案。

CFS Turbo拥有四大核心技术,分别是并行客户端、智能缓存技术、自适应条带化以及分布式元数据。

▲AIGC时代下的文件存储技术要素

并行客户端支持一个客户端同时和多个服务端通过多条链路传输,提升访问速率。

▲CFS Turbo总体架构

智能缓存技术在客户端和服务端两级采用分布式缓存,元数据和数据之间采用独立缓存机制,读写操作可分别配置,读缓存加速重复数据的读取,写缓存提升Checkpoint的保存速度。

▲分布式缓存

自适应条带化通过智能分片,把大文件切割成小文件同时并发写入,提升吞吐,单文件读写吞吐可达5GB/s,集群读写吞吐线性增长,1PB容量规模可达1TB/s读写吞吐,单客户端文件读写性能达10GB/s。

▲文件动态条带化

分布式元数据对上亿级别文件目录分散处理,提升并发性能。传统元数据服务器是树型,受单点制约,而业内普遍的解决方式是采用联邦式,但仍需要提前规划文件和目录分配。CFS Turbo采取的分布式,能使元数据性能线性扩展至十多倍,文件和目录自动均衡分配。

▲分布式元数据

在这些技术的支撑下,腾讯云CFS Turbo能提供业界第一的TiB/s级别总读写吞吐和百万OPS的每秒元数据性能,解决训练文件读写瓶颈。以3TB大小的Checkpoint为例,写入能从10分钟瞬间缩短至10秒内。在GPU发生故障时,能大幅降低对训练时长的影响。

▲Checkpoint写入效果

此外在数据推理阶段,CFS Turbo可实现字节粒度强一致,在模型发布或修改时,多客户端可同时读写同意模型文件,保证数据一致性。

▲字节粒度强一致

基于自研分布式高性能存储引擎Histor,CFS Turbo底层通过自研用户态协议栈和RDMA等技术,减少数据的多次拷贝与虚拟化消耗,大幅降低了存储时延、提升吞吐性能;在应用侧,CFS Turbo自研并行文件传输协议,实现了多链路并行访问,大大提升了吞吐效率。

除了大模型企业以外,CFS Turbo也被广泛应用于自动驾驶与工业仿真场景,包括博世汽车、蔚来等自动驾驶厂商,上海电气、深势等厂商的仿真场景,墨镜天合、追光等企业的影视特效场景。

结语:大模型倒逼云存储升级,腾讯云树立新标杆

今年1月,在沙利文联合头豹研究院发布的《2023年中国云存储解决方案市场报告》中,腾讯云存储入选“领导者”阵营,位列第一。随着大模型时代来临,AIGC场景对数据存储和处理的需求日益增长,腾讯云凭借其在云计算领域的深厚积累,推出了全面升级的AIGC云存储解决方案,为AI大模型提供更加高效、全面的云存储支持。

在数据采集、清洗、训练、推理、数据治理等全流程中,腾讯云的AIGC云存储解决方案展现出了卓越的性能。通过自研的核心技术和产品,腾讯云不仅在性能上实现了质的飞跃,更在价格上保持了亲民,成为众多头部大模型企业的首选。