数据库四十载:从独占鳌头到国产崭露头角

发表时间: 2023-06-07 11:36

  23年磨一剑。

  文 | 华商韬略 熊剑辉

  今天,见证国产数据库的崛起。

  【扼住数据的“咽喉”】

  5月22日,华为完成一件了不起的大事:全球88家子公司的MetaERP系统,成功实现大规模切换。

  这是一场史无前例的“全球总动员”。

  整个切换过程耗时15小时,地跨亚太、欧洲、中东中亚、南部非洲、拉美5个地区部、6个账务共享中心、75个国家,涵盖ICT、华为云、终端等多个产业。

  从未有哪家中国企业,进行过规模如此之大、范围如此之广、复杂程度如此之高的软件工程,这也是“华为有史以来最广泛、最复杂的转型项目”。

  ERP(Enterprise resource planning企业资源计划),是企业对人员、资金、业务等进行全方位管理的系统软件,也是最关键、最核心的企业级IT应用。过去20多年,华为一直使用甲骨文ERP,以支撑其每年数千亿、遍布170多个国家和地区的庞大业务。

  但2019年,美国突如其来的“制裁”“断供”,令甲骨文中断了ERP的升级服务。

  而ERP软件的底座,是号称“软件皇冠上明珠”的数据库。所以,很多ERP只是搞定了面上的“一张皮”,却搞不定内在的“一团魂”,无法替代甲骨文的ERP。

  有人评价,华为很可能因此重返“农业社会”。

  上承软件、下接硬件的数据库,就这样变成了大国博弈的“杀手锏”。

  但这种“抵背扼喉”的致命压制,对华为来说却只道是寻常。

  30多年前,华为还是一家初创小公司,靠着帮珠海、香港的公司做代理卖交换机,赚到了“第一桶金”。

  但看华为卖得好,供应商很快就“断供”了。

  用任正非的话说:当时根本无路可走。

  被逼无奈下,华为只好自主研发交换机,并大获成功。

  类似的“被逼无奈”不计其数,终于把一只“虫”生生逼成了一条“龙”。

  2019年被制裁后,华为不得不在“极限生存”条件下自研“一切”:从芯片、电路板,到操作系统,以及ERP、数据库。

  终于——

  2023年5月22日,华为成功实现MetaERP系统大规模切换,相当于宣告MetaERP系统、GaussDB数据库的研发取得全面成功。

  用华为董事、质量流程IT部总裁陶景文的话说:“我们已经突破了封锁,我们活了下来!”

  今天(6月7日),华为云再度揭开了新一代金融级分布式数据库GaussDB的帷幕。

  孤注一掷下,GaussDB实现两大突破:

  一是核心代码,100%自主研发;二是,GaussDB是国内首个软硬协同、全栈自主的数据库,即可以实现从芯片、服务器、存储、网络,到操作系统、数据库的全栈迁移及替换。

  要知道,芯片、操作系统、数据库,号称现代信息技术的三大核心基础。

  但不论是X86的CPU,Windows、Linux的操作系统,还是Oracle、MySQL的数据库,基本都被美国把持。

  数据库的重要程度,更是不亚于芯片。

  大到国家统计、金融交易,中到企业管理、财务信息,小到聊微信、刷抖音、点外卖、玩游戏……APP、小程序的背后,都是数据库作为底层核心在支撑。

  而且,数据库都是7X24小时不间断运转,不仅要安全可靠、无时延快速地记录每笔数据,甚至在“618”“双11”这种数据洪峰面前,都不能有丝毫错误。

  2020年“两会”期间,全国人大代表、合肥工业大学应用数学研究所所长檀结庆对媒体表示,甲骨文、IBM、微软等国际厂商把持着87.7%的市场份额,数据库行业基本被美国垄断。

  由于牵一发而动全身,数据库产品极具黏性,导致在最核心的金融、能源、通信等关键领域,即便有全面断供的风险,也鲜有人动得了Oracle们的“奶酪”。

  如今华为云GaussDB的问世,正试图击破这块“铁壁”。

  【数据库“帝国”大裂变】

  数据库时代的潮水变迁,要追溯到40多年前。

  上世纪70年代,IBM的天才研究员科德,把关系型数据库的理论、模型和查询语言SQL,一并琢磨了出来。

  只不过“蓝色巨人”依然沉迷于大型计算机,结果让“硅谷大忽悠”拉里·埃里森抓住了史诗级的机会。

  1977年,埃里森创立甲骨文,并根据科德的论文研发出Oracle数据库。

  早期的Oracle相当不靠谱,但埃里森还是忽悠了美国海军、中情局、国家航天局当“冤大头”,赚到了“第一桶金”。

  上世纪90年代,甲骨文的Oracle、IBM的DB2、微软的SQLServer等数据库开始各领风骚。Oracle占据市场先机,日益成熟,令甲骨文的营收连续12 年翻番,成为全球第二大软件公司,一度令埃里森问鼎“硅谷首富”。

  1996年,免费开源数据库MySQL在瑞典诞生。它原本能跟Oracle掰掰手腕,随着2009年甲骨文完成对SUN公司的收购,MySQL也一并被甲骨文收入囊中。

  这意味着,Oracle(闭源)和MySQL(开源)两条技术路线,都彻底在甲骨文的掌控之中。

  美国数据库产业在大杀四方,此时中国的数据库技术却囿于象牙塔。

  结果90年代末,甲骨文们一到中国,就接连斩获金融、电信、航空等领域的超级大单,占据了绝对垄断地位。

  关系型数据库,成就了甲骨文们统治全球的黄金时代。

  但2008年,时代的洪流突然逆转:NoSQL(非关系型数据库)诞生了。

  驱动这场新变革的,是电商。

  2007年,阿里98%的系统和业务都跑在Oracle数据库上,IT开销暴涨。

  但2009年,即便淘宝跃升为Oracle全球居前的超级应用集群,集群的CPU跑冒了烟,还是扛不住“双十一”的超级洪流。

  战无不胜的Oracle,不灵了!

  这背后,是图片、语音、视频等非结构化数据呈现指数级暴涨,必须用“云计算+NoSQL”的办法来解决。

  比如,你可以把关系型数据库,看成一家“淄博烧烤店”。在Oracle支持下,它每天能招待1000位客人,爆满了。

  但现在,“店里”又涌进了1000万人。他们不但要吃烧烤,还要买紫米饼、逛八大局、看鹧鸪戏……

  这种天量的、爆发式增长的非结构化数据,瞬间就会冲破关系型数据库的天花板。

  所以,“烧烤店”必须升级成云端“烧烤城”。

  于是,一场由关系型向非关系型、由集中式向分布式转型的数据库裂变,爆发了!

  在分布式数据库里,数据库不会再集中于单机或一地,而会将查询、存储、事务管理等核心功能,扩展到多机或多地。

  于是,200万人在A区吃烧烤,300万人在B区逛街,400万人在C区看戏……

  另外,云计算通过存算分离、弹性分配等手段,还能打破资源瓶颈,让分布式数据库自由伸缩、无限扩展。

  也就是说,哪怕“烧烤城”突然涌进1亿人,分布式数据库“遇强更强”,依然能应对自如。

  这是传统的关系型数据库,根本无法比拟的。

  如今,NoSQL更进一步发展到NewSQL(新关系型数据库),以便整合传统关系型数据库和NoSQL的优势,使其在OLTP(联机事务处理)和OLAP(联机分析处理)上都能大显身手。

  据Gartner预测,2024年,全球数据库市场规模突破千亿美元,而分布式数据库将是最主要的市场增量。

  那么,只要对准云化、分布式数据库的城墙口冲锋,国产数据库就一定会迎来“换道超车”的大机会。

  【历时23年,强渡“大渡河”】

  实际上,华为下决心自研数据库的初衷,一点都不“高大上”。

  2000年,华为的电信业务迅猛增长。但客户这边业务结算耗时长,甚至结算不了的状况,让人大伤脑筋。因为电信业务定制多、改动大,只能用国外数据库。可一旦出问题,“原厂大佬”又请不动。

  客户很着急,问题很严重。华为人只能壮着胆子,试着改一改,写起了数据库代码。

  事就是这么干起来的。

  但自研数据库,决不能拿客户当“小白鼠”。所以,“狗粮”必须自己啃,数据库先在内部用。

  结果一用,问题不断,骂声一片,“吐槽”的邮件雪片般飞舞,甚至捅到高管层,让研发团队大呼“要命”。

  所有人都不自觉在拿业界的最高标准Oracle,来要求初生的华为数据库。

  而开发数据库的内核,更像在刀尖上起舞。因为如果第1颗“扣子”没“扣正”,你可能并不知情;但等问题一暴露,你发现已经“扣歪”了10万颗“扣子”了。

  这时候,多年的心血付之一炬,架构又要推倒重来,没有人扛得住这样的泣血折磨。

  但是正是在客户的“骂声”、华为自身内部业务的打磨下,经过多个技术路线融合、多个版本迭代下,才形成了今天的分布式数据库GaussDB。

  2022年4月,中国邮政储蓄银行(以下简称“邮储银行”)新一代个人业务分布式核心系统成功上线,一举成为全球最大的银行分布式新核心系统。

  核心系统是银行的“大脑”和“心脏”,不但承载关键任务,而且在亿万次存储、计算中不容丝毫闪失。

  以往,这是Oracle才能染指的“禁区”。

  但金融服务在线化,使交易频次极速提高,传统Oracle数据库的容量瓶颈、性能支撑、业务负载越来越大,系统资源缺乏弹性,拥堵成了家常便饭。

  这次,华为云GaussDB无缝衔接,打破“铁律”。

  新系统上线后,邮储银行实现日均20亿笔、峰值6.7万笔/秒的超强交易处理能力。即便面对6.5亿客户、4万多个网点的数据冲击,依然游刃有余。

  全天联机平均耗时从93毫秒减少到65毫秒,批处理时间从4.5小时缩短到3小时,季度结息时间从140分钟缩短到25分钟,性能、效率大幅提升。

  2023年4月,在“英雄强渡大渡河”MetaERP表彰大会上,华为宣布:自主可控的MetaERP完成了对旧ERP的完全替换。

  在这场世界级难度的攻坚战中,华为云GaussDB作为MetaERP的智能数据底座,凭借其高弹性、高性能、高可用等特性,通过了这场终极挑战。

  首先,ERP每天要处理海量的业务和数据,其中包括各类应用与ERP的逻辑集成点3950个、数据集成点27000个,以及销售订单行76万、应付开票行21万、会计分录行1500万……

  由于华为的业务极度复杂,账本业务量几乎是业界第一,对存储空间要求极高。

  但华为云GaussDB通过GTM-Lite技术,实现了计算与存储的自由水平扩展,并能根据业务压力动态伸缩读节点,读吞吐量提升2倍,主/读节点间数据同步秒级时延;容量更从单库TB级扩展到PB级;支持业务压力自动负载均衡,一举解决了传统数据库扩展性不足的问题。

  因此,即使面对超大规模业务,以及ERP海量数据存储和并发访问的压力,华为云GaussDB照样能轻松应对。

  其次,ERP频繁的业务查询,需要系统在面对成倍并发量时,性能依然保持稳定。

  为此,华为云GaussDB通过使用大并发线程池技术,不仅大幅提高系统响应速度,还最大程度节省了资源;加上全新上线的Ustore存储引擎,能将“有效数据”与“垃圾数据”分离存储,同时采用多版本索引技术,有效提升了存储空间的效率和性能。

  由此,华为云GaussDB性能抖动降低70%,整体性能提升10%以上;而3000万笔/天的会计分录峰值处理,从30分钟延时变成了实时处理,效率大幅提升。

  再次,在高可用性方面,华为云GaussDB还提供了同城AZ(物理资源)内、跨AZ、异地跨Region的两地三中心容灾方案和1000公里以上的城市级容灾能力。

  哪怕故障的发生不可避免,跨AZ切换时间短于1分钟,城市级故障分钟级恢复,并确保每一笔交易准确记录,真正实现“数据零丢失、业务永在线”。

  23年磨一剑。今天,人们得以见证GaussDB的崛起。

  【重构数据库世界“新版图”】

  在数据库的世界中,在海量数据、任务并发的情况下,如何让数据处理“不出错”?这是一件极端困难的事情。

  这仿佛是在1000万人涌动的“烧烤城”里,要求不走丢人、不传错菜、不走错路。

  怎么可能?

  但在金融、电信、能源、航空等系统中,极度苛求“稳定压倒一切”。

  而凭借高性能、高可用、高安全、高智能、高弹性,以及易部署、易迁移的特性,GaussDB做到了。

  2023年,GaussDB在工行核心信贷系统中,上线了业界领先的同城双集群RPO=0(即故障恢复后数据零丢失)方案。

  这个方案的强大之处在于,同城两大数据中心,通过数据库软件独立部署,实现了软硬件故障完全隔离。所以,一个数据中心升级(或瘫痪),完全不影响备用中心正常展开业务。

  这一架构,真正实现了7*24小时不间断服务,双集群下RPO=0,达成极致的同步性能。

  在各类专业测评中,GaussDB拿奖拿到手软:

  2022年11月,通过数据库产品最高标准EAL4+认证,成为国内唯一获得国际CC认证的产品;

  2023年2月,完成中国信通院《分布式事务型数据库稳定性测评》;

  3月,完成信通院《全密态数据库基础能力测评》;

  4月,荣获中国电子学会科学技术奖科技进步“一等奖”。

  此外,GaussDB还通过了信通院防篡改、智能化、分布式事务基础能力三大专项严苛评测。

  所谓防篡改,就是极端情况下,GaussDB依然具备识别风险、防止篡改、备份还原的能力;甚至在内存中实施运算态加密,实现了数据全生命周期内的安全保护,成为业界第一款纯软全密态数据库。

  所谓智能化,就是GaussDB作为全球首款AI-Native数据库,提供了从开发到运维的全流程“自动驾驶”能力,并通过趋势预测算法,帮管理者推理预警、智能决策。

  所谓分布式事务型数据库基础能力,就是一旦出现高并发需求,GaussDB瞬时反应,就近调集分布式的CPU、内存、存储等系统资源,从而实现秒级弹性伸缩的能力。

  而GaussDB全栈自研的软硬件,更是打通了数据库的“任督二脉”,足以将性能发挥到极致。

  如此强悍实力的背后,则是全球700+授权专利、80+顶会论文、2000+内核研发人才,在提供强有力的支撑。

  80+ISV伙伴联合构架200+解决方案,使得GaussDB涉及的行业,涵盖金融、证券、办公OA、企业ERP,数据库运维管理、备份恢复、迁移工具等。

  GaussDB的客户,则遍及金融、电商、汽车、制造、能源等行业,并在工行、建行、农行、邮储银行、华夏银行、中石油、中海油等规模落地,并拥有用友、金蝶、宝兰德、神州信息等生态伙伴。

  我们看到,国产数据库正在崛起。

  在IDC最新发布的《2022年上半年中国关系型数据库软件市场跟踪报告》中,在本地部署模式市场中,华为云数据库凭借GaussDB以16.59%的份额排名国内第一。自2020H1以来,GaussDB已经连续五次蝉联第一,在国内关系型数据库市场持续领跑。

  旧世界在崩塌,新世界在重塑。时代的转换,总令人措手不及。

  今天,国产数据库早就过了“能用”的阶段,正趋于成熟,不断向“好用、易用”的阶段迈进。面对数据库这类“国货”,国人应该更包容、更开放、更自信地使用,促其越用越灵、越用越稳,加速其成长。

  而大国崛起的大背景,正是以华为云GaussDB为代表的中国数据库真正的大契机。

  在这个过程中,哪怕有人不断搞断供、搞制裁,希望籍此扼杀中国企业,但除了遭遇一次次失败,只能激发起中国人更蓬勃、更强大、更坚韧的生命力、创造力。

  所有的“垄断”都是用来打破的,面对这场数据库的“国运之战”,华为再次证明:

  “中国有能力做出和世界顶级数据库媲美的产品。”

  ——END——

  欢迎关注【华商韬略】,识风云人物,读韬略传奇。