近日,华为存储与优炫软件携手推出了“数据库存算分离联合解决方案”。华为闪存存储领域总裁黄涛指出,结合了成熟技术和存算分离稳定架构的多主数据库正在受到越来越多的肯定。双方计划继续推出更多此类解决方案,以推动中国的数据库产业升级。
在新兴应用如IoT、人工智能和大数据的推动下,存储已成为业务系统中不可或缺的基础架构。
尽管存算一体架构具有快速读取本地存储数据等优点,但随着业务和数据的融合与增长,其扩展性和经济性的挑战愈发明显。实际应用中发现,将存储与计算分离,并通过软件定义架构访问数据,更能满足现代应用和海量数据的需求。
AIGC当前已成为全球科技领域的焦点。云计算在分布式数据库、大数据、AI模型、算力提升、存算分离和多地多活等方面的技术深化和产品创新,结合企业数字化和智能化转型的迫切需求,有望在未来推动中国云计算市场进入新的快速增长阶段。
传统计算机采用硬盘进行数据存储并使用CPU进行计算,存储与计算之间通过计算机总线连接。
未来的云计算技术需要突破这种传统计算模型的局限,不仅要实现数据的远距离传输,还要确保存储与计算之间的实时操作。
美国云计算巨头Snowflake提出了一种大数据存算分离机制,并开发了面向服务的体系结构。包括高度容错和独立可扩展的服务,通过RESTful接口进行通信,并被分为三个体系结构层:服务层、计算层和存储层。
存算分离是一种先进的存储架构,具有提高资源利用率、高效共享存储资源、灵活部署多种场景以及协同网络存储和计算等显著优势。
在这种架构下,存储和计算是分开进行的。
存储硬件负责数据的存储和访问,计算硬件则专注于执行计算任务。两者通过数据传输网络相互连接,以实现高速数据传输。
通过分离存储和计算,存算分离架构将计算节点转换为无状态节点,同时使用中心化的存储集群来分离存储节点和计算节点,从而提高了存储的可靠性和扩展性。
存储资源和计算资源分解为独立的模块进行建设,在资源利用率、高效共享存储资源、灵活部署多种场景以及协同网络存储和计算等方面具有显著优势。
新型的存算分离架构将服务器本地盘拉远构成无盘化(diskless)服务器和远端存储池,并通过远程内存池扩展本地内存,实现了真正的存算解耦,从而大大提高了存储资源的利用率。
此外,该技术能够按需调用所需数据,实现数据的远距离传输和计算,为“东数西算”的推进提供了技术解决方案。
分布式存算分离灵活扩展:
存算分离架构的创新之处在于成功实现了存储与计算的解耦。
随着人工智能的不断发展,新兴业务产生的海量数据具有8-10年的生命周期,而服务器的处理升级周期仅为3-5年。这种差异导致了存算一体架构中的资源浪费和数据迁移风险。
同时,人工智能等应用还需要不同类型的计算资源协同工作,对存储系统的带宽和延迟提出了更高的要求。
此外,“数据中心税”也导致了数据密集型应用的效率下降。
为了解决这些问题,存算分离架构采用了彼此独立的硬件资源池和细粒度的处理分工,从而实现了彻底的存储与计算解耦,并达到了能效比的最优组合。
这种架构提高了计算资源和存储资源的利用率,使得算力和存储能力得到更加高效的利用。
2023年7月3日,万里数据库与华为存储携手发布了“存算分离&多主架构联合创新方案”。
此方案基于存算分离和共享存储架构,结合了万里安全数据库GreatDB、华为参天数据库加速引擎和华为OceanStor企业级闪存存储,标志着我国首个多主架构数据库解决方案的诞生。
华为推出的OceanData分布式数据库存算解决方案实现了存算分离。它将原本需要数小时的数据重构时间缩短至分钟级,显著提高了系统的效率和可靠性。
OceanData方案采用了云原生架构,通过容器与企业级存储的紧密结合,确保了计算侧的无状态特性。同时,企业级存储也采用了分布式架构和数控分离架构,其中盘与处理单元相互独立,处理单元通过全交叉互联方式与数据盘资源相连。
应用华为OceanData方案后,数据局计算的利用率可以获得显著提升,从原先的10%提高到约30%,从而节省近一半的成本。此外,它在机房和耗电方面的需求能降低大约60~70%,具有显著的效益。
存算分离&多主架构联合创新方案优势:
从存算分离产业链来看,上游主要的参与者包括存储硬件、计算硬件和数据传输网络等基础设施的供应商,例如硬盘制造商、服务器制造商和网络设备制造商等。中游是由存储软件和计算软件的开发商构成,下游则涵盖了各种应用场景的用户,其中云计算服务商占据了重要地位。
存算分离解决方案可以根据企业的计算需求灵活地配置资源,帮助企业降低运营成本,并提高数据处理的效率和质量,主要参与厂商包括华为、浪潮、新华三、创意信息、东方国信和同有科技等。
华为推出的FusionInsight智能数据湖等解决方案就采用了存算分离等先进技术。
创意信息与华为存储合作,发布了国内首个多主架构数据库解决方案——“存算分离&多主架构联合创新方案”,成功地结合了万里安全数据库GreatDB、华为参天数据库加速引擎和华为OceanStor企业级闪存存储,解决了数据库领域的多读多写难题。
东方国信已经完成了云原生改造的大数据基础设施产品和数据库产品,其中存算分离技术是云原生化的重要评价指标。
同有科技也推出了基于存算分离架构的存储解决方案,具有存算分离、降低TCO(总拥有成本)、数据融合和管理高效等优势。该方案已经成功地应用于科研院所、政府部门和金融投资等行业领域。#数据库##aigc##人工智能##服务器##算力##华为##云计算##财经新势力#
同有科技存算分离存储解决方案拓扑图:
随着数字化转型步伐的加快,数据库作为核心系统的核心组件,其可靠性、性能和效率等要求日益严格。存算分离架构将存储和计算分开处理,能有效解决传统存算一体架构中的瓶颈问题,从而显著提高数据处理效率和质量。
存算分离架构资源配置更加灵活,可以根据实际需求进行扩展。同时,这种架构还增强了系统的容错能力,降低了单点故障的风险,保证了数据的安全性和可靠性。#存储#
存算分离架构是我国数据库产业升级的关键方向之一,结合我国的数据库和专业技术存储优势,未来行业空间应用广阔。
关注乐晴行业观察,洞悉产业先机!