高端市场比如银行、政企核心业务就是珠穆朗玛峰一般的存在,一路进击的国产数据库,仿佛从北坡成功登顶珠峰,时间紧任务重,更为艰难。——题记
士别三日当刮目相待,对于国产数据库商业化而言则是卧薪尝胆20余年,在这条道阻且长的进击之路上不断耕耘,终于迎来百花齐放的春天。据不完全统计,目前市场上有200多家国产数据库。中国数据库技术大会(DTCC)有幸作为一路以来的陪伴者和见证者,业已成为了解数据库技术发展趋势的重要窗口,明显感受到近几年中国数据库市场越发繁荣,国产数据库从业者的热情和信心与日俱增。
近几年可以看到国产数据库不断取得突破的消息,比如星环TDH平台成为全球首个通过TPC-DS基准测试的数据平台,OceanBase打榜TPC-C取得第一,华为云、腾讯云、阿里云跻身Gartner云数据库魔力象限,而阿里云更是成为领导者,实现了20多年来从0到1的突破,国产数据库已经向世界级数据库发起冲击。与此同时,在国内近两年陆续传来国产数据库投产金融核心系统的消息,这意味着国产数据库已经挺进深水区的高端市场(高端市场指核心业务),对于广大从业者亦是莫大的鼓舞。
ToB是一场长跑,数据库更是长跑中的长跑。在国产数据库不断取得突破的同时,也看到有银行和企业由于无法替换的原因继续采购国外商业数据库服务,这让我们意识到目前国内政企、金融业的核心系统依然是国外传统数据库的天下,虽不像之前那样牢不可破,但替换之路依然任重道远。
第十二届中国数据库技术大会(DTCC2021)现场
国产数据库现在发展如何?国产数据库能否挑起高端市场的大梁?在第十二届中国数据库技术大会(DTCC2021)召开之际,IT168& ITPUB对国产数据库的发展进行了简单梳理,并对相关问题与数据库专家进行了探讨。
进击的国产数据库百花齐放
纵观数据库技术发展历史,上个世纪70年年代关系模型和SQL语言的出现成就了Oracle,90年代,以Oracle、DB2为代表的商业关系型数据库在市场上大获成功,成为主导者;2000年后随着互联网发展,在一些互联网巨头带动下,开源数据库飞速发展,与此同时大规模数据集和多重数据种类带来的挑战也使得NoSQL(泛指非关系型数据库)应运而生;2010以后随着移动互联网、IoT、云、大数据等新技术的发展,进入到结构化、半结构化、非结构化海量数据爆发的大数据时代,NewSQL、图数据库等更为多元的数据库同台竞技。
国内对数据库技术的研究并不算晚,20世纪70年代,以萨师煊为代表的老一辈科学家率先在国内开展数据库技术的教学与研究工作,1977年11月在安徽省黄山召开了首届数据库技术研讨会,不断有人才加入为推动我国数据库技术的发展打下了基础。2000年左右国产数据库正式商业化发展,传统老四家相继成立,从国外Oracle、DB2等数据库巨头的跟随者开始,一步一步追赶。
达梦副总经理徐钢介绍,2008年之前国产数据库技术储备比较薄弱,国产数据库厂商只有个位数,没有受到太多关注,也基本没有市场机会。
“十年之前我们没有这么招人待见,在国内去拜访客户,基本认知上就是你跟Oracle不可比,完全不可用。”一位从事数据库10多年的老兵告诉IT168&ITPUB,数据库作为基础软件,发展缓慢。
随着互联网和移动互联网的高速发展,数据海量爆发式增长,业务场景越来越复杂多元,传统的单体架构面临着数据处理瓶颈,大数据、云计算、AI、分布式等新技术不断发展。国家在政策上不断重视支持,加上资本的推动,为国内数据库市场带来新的机遇,越来越多的国产数据库如雨后春笋般出现。由于技术的突破也逐渐获取了企业机构的信任,尤其是分布式数据库换道超车离挑起高端市场大梁的目标越来越近。
国产数据库在技术路线选择上多点开花,有自主研发,有基于开源改造,也有基于开源在方案上通过中间件或者通过其他方式去改造整个数据库的生态系统。经过20多年的发展,国产数据库百花齐放。OLTP、OLAP、HTAP场景皆有布局,云原生、分布式、多模等新趋势与国际几乎同步探索,SQL(关系型)、NoSQL、NewSQL等悉数皆有。目前国产数据库形成了传统厂商、云厂商、初创厂商、跨界厂商的竞争格局。
传统厂商以达梦、人大金仓、南大通用、神舟通用老四家为代表,深耕行业多年,紧跟技术新趋势,在分布式、云等方面皆有布局。
云厂商以阿里云、腾讯云、华为云、金山云、青云等为代表。其中阿里云、腾讯云、华为云跻身Gartner云数据库魔力象限,有非常完善的数据库产品栈。
初创厂商基本是以新技术、新硬件、新网络的发展为契机成立,或主打某一细分场景。分布式数据库方向满足TP、AP和HTAP场景,以PingCAP、OceanBase、巨杉、易鲸捷、浪潮云溪等为代表,其中PingCAP已经成为备受资本青睐的独角兽。蚂蚁集团2020年将OceanBase独立进行公司化运作,开启大规模商业化之路。浪潮集团单独成立浪潮云溪数据库公司表明浪潮做数据库的决心;主打AP场景的云原生数据库OushuDB、搜索查询类录信数软等;星环科技数据技术方面有完善的产品栈,既有大数据平台,在分布式云数据库、闪存数据库、图数据库等方面皆有布局;细分场景下图数据库欧若数网、创邻科技,时序数据库涛思数据……
跨界厂商如爱可生、云和恩墨这样的数据库服务商,以及浪潮、中兴这样的传统厂商等。浪潮的K-DB,中兴的GoldenDB主打金融级分布式数据库。
值得一提的是,细分场景下比如图数据库,国产数据库基本和国外厂商处于同一起跑线上,根据 DB-Engines 官网显示,2021 年 11 月的图数据库的流行度排名中,我国上榜4个数据库产品,分别是欧若数网 Nebula Graph、华为云 GraphBase 和百度智能云开源产品 HugeGraph、创邻科技Galaxybase。国产图数据库甚至在某些方面还处于领先,最受欢迎的图数据库Neo4j的首席科学家Jim Webber告诉IT168&ITPUB,在新硬件的实现方面,中国有制造业和科研的优势,中国图数据库软件和硬件齐头并进,共同改进技术,一些大厂硬件发展处于领先地位,将GPU、FPGA直接包含在主板或者内存上。
近几年国产分布式数据库在技术上取得了突破,成为国产化替代的主力军。美创科技数据库专家吕海波在参加DTCC2021中国数据库技术大会后的回顾文章中写道:
几年前DTCC大会,很多人在讲CAP、NoSQL与一致性、BASE(最终一致性)等话题,甚至有嘉宾主题就是“CAP原理”。分布式、一致性等相关技术细节,是前些年的热点。怎样才算分布式、如何实现才能在性能和一致性间兼顾。
很明显,这两年DTCC,已经没有嘉宾专门讲分布式、一致性与CAP/BASE等话题了,就算有,也是在PPT中简单提一下。
这说明分布式与分布式事务、一致性等这些东西在技术界已经达成共识,想要数据的多副本一致性,Raft/paxos协议已经几乎是标准。而想要分布式事务强一致性,2PC/3PC也基本上是标准。CAP、BASE、Raft/Paxos、2PC/3PC等等技术思想,在这几年也已经纷纷落地为产品。
近两年,也看到一些传统政企机构核心系统投产国产数据库的消息:
2019年9月,基于分布式数据库腾讯云TDSQL打造的张家港农商银行新一代核心业务系统成功上线投产;
2020年4月,基于易鲸捷新一代国产融合型分布式数据库搭建的贵阳银行核心交易“沙箱”系统联机实时运行,成功实现核心交易“沙箱”系统与贵阳银行现有核心系统并行处理;
2020年7月,中兴通讯和中信银行联合宣布,GoldenDB分布式数据库顺利完成在中信银行核心系统“凌云”系统的投产;
2020年9月,中国工商银行开始采用蚂蚁自研数据库OceanBase,其对公(法人)理财系统已完成从大型主机到OceanBase分布式架构的改造;
2021年4月,基于openGauss打造的邮储银行新核心系统成功投产;
2021年8月,友邦人寿宣布加速重要业务系统上云进程,包括保险出单、保单契约等在内的数十套业务系统开始采用阿里云PolarDB云原生数据库……
高端市场比如银行、政企核心业务就是珠穆朗玛峰一般的存在,一路进击的国产数据库,仿佛从北坡成功登顶珠峰,时间紧任务重,更为艰难。核心业务具有极高的壁垒,市场空间巨大,是当下国产数据库的主攻赛道,某种程度上来讲,能否拿下高端市场决定了未来的成败。国产数据库投产银行核心系统的消息出现,这无疑提振了从业者信心。
有不少从业者指出去O之路未来5年可见分晓,也有人并没有给出明确的时间,那么国产数据库能否挑起高端市场的大梁?
能否挑起高端市场大梁?
金融业对数据库的要求最为严苛,银行业金融场景业务一般会分为关键核心业务、一般业务、邮件办公和金融机具四大类业务,金融业尤其是银行事关国计民生,对于核心业务的替换更是慎之又慎。在国产化方面会采用从边缘到核心逐步替换的策略,核心业务系统的替换也会先采用双库并行的稳妥方法。
总体来看,大多数专家对国产数据库挑起高端市场大梁持乐观态度,他们认为现在国产数据库已经拥有了挑起高端市场大梁的技术储备,但是与用户建立信任还需要更多时间,目前双库并行的状态只是一个过渡阶段,这并非国产数据库独有,曾经Oracle替换DB2时也经历了双库并行这样一个过程。
达梦 作为老四家一路走来有很深的体会,徐钢认为,国产化替代不是简单的民族情结,而是要尊重客观事实。
首先,从时间维度来看,还不到100%替代的时候。按照达梦以往经验,进入一个行业过去需要3-5年,在国产化浪潮推动下,周期会缩短,但仍需要至少一年时间。
其次,技术迭代是一个相互认可的过程。IT集成商会以最高标准来衡量国产数据库品牌和技术能力,在实际应用场景中,所有数据库产品的地位均是平等的,不会因为你是“国产品牌”,就会在硬性指标上降低难度。
其三,用户生态的认可,需要积累。用户观念的转变,非一朝一夕。其四,客户自身的应用模式,从客观上增加了国产数据库品牌的认知周期。对于中国DBA、数据及应用架构师来说,他们只相信“眼见为实”,只有亲身经历过这个工程项目,经过实际技术验证,才会得出结论,认为哪些能用,在什么地方能用,到底能力如何。所以,数据库应用实践本身决定,国产化替代不能一蹴而就。
OceanBase CTO 杨传辉 指出,国产数据库具备服务高端企业的能力,但是真正要替换下来可能需要一段时间,有的快,有的慢。这里有个比较大的风险点,在于国产数据库要具备这样的能力,一定是有很强的对内核的掌控能力,不是说200多家国产数据库都有能力,真正做核心也就五个以内。
华为云数据库技术专家窦德明 更为谨慎一些,他认为当前,国产数据库百花齐放。但还没有真正把包括金融、政企的核心业务替下来。现有国产数据库在稳定性和性能方面,跟Oracle还是有很大的差距。如果未来要挑起这个大梁,我们必须经过大规模的客户层验证,真正到客户实际业务当中去打磨我们的产品,实验室里边出现的产品永远没办法做到规模。
浪潮云溪数据库研发副总经理陈磊 比较有信心,他觉得国产数据库现在应该能够挑起国内高端市场的大梁,只是这些高端的应用对国产数据库厂商需要有一个验证、建立信任的过程,应用也需要改造,这个过程可能比较长或成本比较高。可能用不了五年,就能够有些成功的案例。当然,国产数据库在满足非功能需求方面还有差距,如可靠性,可以通过应用和基础计算资源去弥补,核心业务应用支撑不仅仅是数据库的事情。
易鲸捷解决方案中心金融行业售前总监隋景鹏 认为,目前国产数据库已经具备挑起高端市场大梁的能力,但是具备能力和实现广泛支撑是两个阶段的事情。国产数据库从2000年左右开始正式商业化发展,前面十几年走得都很艰辛,几乎很难在高端场景取得突破,最近几年在技术上取得大的进步,尤其是分布式数据库的出现带动了整个产业侧在核心业务里面突破,像易鲸捷QianBase在一些复杂业务场景里提供了支撑,尤其是银行的核心交易系统全栈解决方案能达到3万TPS以上的性能。在贵阳农商行都上线了统一交付、核心交易。国产数据库已经达到了至少可用的阶段是没有争议的。
所有国产软件虽然技术上都是验证可行的,但是缺乏长时间生产环境的稳定运行验证,国产数据库最近三年才在核心领域进行攻坚,所以说它缺乏一定稳定性验证基础,短期内金融用户在核心系统会两条线走,既有国产新技术,同时要采用稳定的技术来支撑作为保底。这样的方式并不说明国产技术不行,必须要有一个验证过程,这无法逃避。
偶数科技 是这次采访中为数不多的做AP场景对标Snowflake的厂商,其首席架构师陶征霖指出,要分为AP和TP两个场景来看,在AP场景目前国产数据库可以挑起高端市场大梁,比如OushuDB已经在一些银行支撑了其所有的分析型业务。TP场景下国产数据库距离能够挑起高端市场大梁还有一段路要走。国产数据库的挑战归根到底在于时间的检验,毕竟国产数据库发展的时间太短,对于一个数据库产品可能做个十年左右还只是在青春期,要想真正的非常成熟、稳定,还需要更长时间去沉淀、打磨,国外的Oracle、DB2都做了几十年,客户各种场景的检验非常必要。
南京录信CTO母延年 也认为要分情况看,如果高端市场指的是采购预算高,需求多,对于性能和稳定性要求高的话,目前国产数据库还是能够胜任。如果“高端市场”是指一些接触信息化较早,普遍采购国外厂商产品的大型政企单位,国产数据库距离挑起大梁还存在一个教育市场的过程。数据库是底层重器,对于数据库的选择和迁移肯定是慎之又慎。
对于大型政企单位来说,数据库的稳定性压倒一切,在还没有完全验证全盘迁移的可行性之前,逐步从边缘业务开始试点是一个既稳妥,又具备前瞻性的提案。这与国产数据库是否能挑得起这个担子没有任何关系。就像我们帮客户升级系统一样,也会先进行小集群的部署,同时还需要建立完善的回滚机制,以防发生任何的问题。“罗马不是一天建成的”,这其中除了对于稳定性的顾虑之外,客户对于我们的信任也是逐步建立和加深的,还是那句话,兹事体大,徐徐图之。
一位深耕金融业10几年的业内资深人士表达了更为乐观的态度,他指出现在银行做的多说的少,目前银行核心系统国产化替换处在大量的测试和预演阶段,明年下半年开始,有可能会看到国产数据库在国内代表性银行的关键核心系统大面积上线。
数据库是承载业务系统的基座,基础不牢地动山摇,如何谨慎都不为过。核心系统甚至攸关生死,好比我们坐车,肯定更愿意坐老司机开的车,一个人考下驾本也算学会开车,有了开车的能力,但实际上路不行,遇上复杂路况和突发情况无法应对,恐酿成惨祸,一定会从简单路况开始练习,积累经验和能力,直到有一天在重庆开车都能溜到飞起,遇上风雪雷电和大雾都能玩转,开车的本领才算到家,这需要一个过程。国产数据库挑起高端市场大梁也要经历这样必不可少的成长过程。
数据库生态之战已打响
腾讯云副总裁李纲指出,所谓“数据库国产化”,并不代表用户要降低质量和要求,在关键业务及核心应用场景支撑能力上,国产数据库的服务水平和传统商业版数据库,是同等级别。换言之,国产数据库没有“国民化”待遇,必须具备成熟数据库产品所具备的能力,当然,既然是国产化,国产数据库厂商肯定会迎来红利期,将从产品、服务开始形成一个新的生态,向国产化靠拢。
对于数据库发展而言,长远发展在于生态。而当下,在挺进高端市场的路上,国产数据库生态之战已经打响。合纵连横产业上下游,解决兼容适配问题。
李纲介绍,未来两到三年,腾讯云数据库的发展方向将用九个字概括,即“插红旗”、“立标准”、“建生态”。
王伟民指出,各个厂商做生态的方式并不一样。有些友商虽然在做数据库,但并不是要把数据库作为一个独立产业来做,他们通过打造一个第二平面去解决“卡脖子”问题,这也非常了不起。阿里云数据库做生态更多是希望以“被集成”的方式来做。“生态要开放繁荣,最主要的就是要能够和伙伴实现利益分享,如果做不到这一点,我觉得生态是做不起来的。”
易鲸捷是立体式集团军作战,为企业机构提供端到端解决方案。贵阳银行的4.27亿订单是一个大的总包,包括操作系统、中间件、数据库、服务器、网络、安全以及集成商等,易鲸捷希望通过该项目打造全栈国产生态以及针对银行核心交易系统的解决方案。
为了打磨产品以及加速生态构建,今年OceanBase、PolarDB、浪潮云溪都采用了开源策略……
这是技术创业者最好的时代,也是国产数据库最好的时代。数字经济已经成为新时代经济发展的重要引擎,数据技术是数字经济发展的核心IT支撑,而作为数据技术底座的数据库其重要性不言而喻。
根据中国信通院《数据库发展研究报告》(2021),预计到 2025 年,全球数据库市场规模将达到 798 亿美元。随着国家对基础软件越来越重视,信创和国产化浪潮下,国产数据库迎来历史机遇。根据信通院报告,2025年中国数据库市场总规模将达到 688 亿元,市场年复合增长率(CAGR)高达23.4%。据安信证券对数据库国产化市场进行测算,国内数据库市场规模约为300-400亿元/年,国产化数据库替换市场总体规模约为3000亿元。
正如母延年所说: 国产数据库的机遇和挑战在我看来是并行不悖的,“信创”和“国产基础软件”的背景给了国产数据库百花齐放的机遇,也暗含赢家通吃的风险,归根结底还是看如何定位。大有大的优势,小有小的活法,如何在细分市场中博得一隅之地,是像我们一样的中小厂商最需要考虑的问题。至于历史机遇,我认为我们还是比较佛系的,雷军说“在风口上猪都能飞”,巴菲特说“退潮了才知道谁在裸泳”,这应该听谁的呢?所以我们内部一直都是不去和别人比,也不和别的产品比,我们只和自己比,只要此日能胜过昨日,今夕能好于昨夕,这就够了。有一句话叫‘日拱一卒,功不唐捐’,我们就是这种心态。
“日拱一卒,功不唐捐”,正是国产数据库一路走来的写照,“高筑墙,广积粮,缓称王”现在也依然适用。希望无论大小厂商都找到自己的位置,一起探索努力,推动国产数据库繁荣发展。期待明年的中国数据库技术大会DTCC2022再相聚!(朝阳)