未来十年，开发者应选择何种数据库？
发表时间: 2023-03-28 16:17
自上世纪 70 年代起，关系数据库已走过半个世纪，如今成为社会的信息基础设施。随着时代、应用、场景的不断变更，给今天的数据库提出了更多要求，如敏捷伸缩、实时分析、降本增效等。这将为数据库带来哪些挑战？未来，数据库领域还有哪些值得开发者关注的创新与技术？在首届OceanBase开发者大会上，OceanBase CTO 杨传辉（花名“日照”）、沃趣科技创始人& CEO 陈栋，dbaplus 社群联合创始人杨建荣、PostgreSQL中文社区主席张文升，在科技访谈栏目《明说三人行》创始人卢东明的主持下，共同深入探讨在数据库前沿技术与发展，精彩对话不容错过。卢东明：首先，请每个人用一句话和三个标签进行自我介绍。杨传辉：我的第一个标签是“工程师”，我是一名开发者；第二个标签是“一体化”；第三个标签是“性价比”。（后面两个是 OceanBase 的特性）陈栋：我的第一个标签是 DBA，曾是阿里员工；第二个标签是创业者，现在我正在创业，做数据库基础设施层的产品；第三个标签是“一体化”，我们将数据库、软件、硬件做成一体化的方式，提供开箱即用的解决方案。杨建荣：我的第一个标签是DBA，从业多年，经历了从 Oracle、MySQL，再到现在分布式数据库等阶段。第二个标签是技术社区，我现在参与 dbaplus 社区的建设工作；第三个标签是技术分享，我平常喜欢写技术文章，曾出过两本数据库技术的书。张文升：我最重要的标签是 PostgreSQL 本身，因此第一个标签是 PostgreSQL，第二个是开源社区，第三个是布道师。哪里有 PostgreSQL，哪里就有我。卢东明：针对 OceanBase 最新提到的“单机分布式一体化”一词，在大众印象里“单机”与“分布式”是割裂分开，为什么 OceanBase 会将他们组合起来？杨传辉：2021 年底，我们开始分享 OceanBase 一体化的概念，当时称为“集中分布式一体化”，但这个说法并不直观，后来改为“单机分布式一体化”，代表 OceanBase 将两类系统产品特性和技术优势融合在一起，它的特点是既可以像单机数据库一样使用，又拥有分布式数据库无限水平扩展的能力，对开发者友好。张文升：如果将一个分布式系统当做一个单机系统来用，部署到一台机器上的话，性能将大幅度降低。如何突破该瓶颈，OceanBase 有什么独门秘籍？杨传辉：早期支付宝有很多 Log，DBA 总结的规律是当 Log 打开强同步时，性能会降低 35%。为什么分布式应用到单机会出现性能损失？因为分布式要做高可用、强同步的容灾开销。随后采取异步 Log 的模式，使得强同步的性能损失控制在 8% 以内，兼具强同步，同时不损失性能。采用单机分布式一体化的可扩展方案后，每台机器只有一个日志流，尽管后台需要占用一些网络、CPU等，但对前台的交易、TP 性能没有影响。杨建荣：对 DBA 来说，从单机到分布式一体化，具体涉及到哪些操作的变化？对系统有什么样的影响？杨传辉：在单机分布式一体化理念下，首先要求开发者对 DBA 是透明的，扩容操作由数据库后台实现，对以前的业务及应用协议没有影响。虽然数据库扩容，但可通过动态路由来自动找到机器原始数据。因为底层架构是分布式，所以扩容后是全部支持上层功能的。而原来单机的产品无法做一体化的原因是原来的 SQL 引擎是为单机设计的，换成多机的话很多功能支持不了。陈栋：我非常认同 OceanBase 对单机场景的关注。从我接触的用户需求来分析，单机场景更为大众化。因为对于大部分的企业用户而言，可能单机已经足够业务所需。如果一上来就用分布式系统，那么门槛相对较高。技术是相辅相成的，在“软硬一体化”趋势下，硬件发展核数越来越多，可扩展性的内存、吞吐足够大，结合硬件能力，再加上数据库在单机上性能开销的优化，未来在大众化场景的适用面、接受度将更强。因此我认为，OceanBase 往单机的思路上走是很友好的。那么在单机分布式一体化概念下，OceanBase 是更注重单机还是更注重单机到分布式的扩展性？杨传辉：开发者提到分布式数据库，认为它的使用门槛较高，因此我们希望通过一体化架构来降低门槛。回答您的问题，我们更多考虑如何从单机怎么扩展到多机的使用场景。在 OceanBase 单机分布式一体化架构下，企业业务从小到大扩展的过程中，无需重写应用。OceanBase 不仅有效帮助企业降低成本，又有面向未来的拓展能力，相信未来它的应用场景将越来越广。陈栋：站在用户的角度来看，OceanBase 将方便留给用户，把麻烦留给自己。如果从数据库的设计角度来说，想必投入巨大，其中 ROI 如何评估？杨传辉：ROI 是 OceanBase 做单机分布式一体化架构设计时非常重要的关注点。OceanBase 从最开始做分布式数据库，再到现在对单机的优化，这本来是我们要做的事情。卢东明：OceanBase 从分布式数据库开始已经做了 13 年，如今从分布式到单机，居然比传统的单机数据库 MySQL 性能还要好，OceanBase 是如何做到的？杨传辉：OceanBase 的存储引擎与 MySQL 相比，有两点优势：一是因为 MySQL B+树做得早，OceanBase 的引擎是在尊重经典架构的基础上全新设计，存储成本会更低，单机数据库基本很少在线压缩，但是我们可以在 OLTP 业务里做在线压缩。二是在内存里实现大部分高频操作，最终才能在引擎层做到性能好、成本低。通过测试，在简单读写上，相比 某国外主流数据库，OceanBase有相对优势；在多核扩展能力上，OceanBase 与 他们做得更好；在复杂查询上，他们比 OceanBase 要好，但我们正在努力，今年 Q3 将优化复杂查询性能。陈栋：其实在国内做数据库是一件幸福的事情，因为中国企业的业务场景复杂，存在一些机会。杨传辉：中国企业有不同的场景需求，比如运营商的数据查询复杂、高并发，很过国内数据库厂商的 复杂查询诉求从运营商场景来的，产生了很大的帮助。数据库要做好，需要和应用不断磨合。虽然 OceanBase 和其他单机数据库在同一个水平上，但还需要一些时间来优化业务落地场景，期待几年后，我们可以自信地回答，OceanBase 所有场景比 国外主流数据库 更好。卢东明：在过去十年时间里，中国应用场景的发展是全球领先的，尤其像阿里双 11 的极端挑战。我原来在 Sybase 公司工作时，那时候大家认为数据库的顶级挑战来自华尔街，只要解决了华尔街的问题，那么其它问题就能解决。但是在 2010 年前后，我们发现不知道如何解决双11这一量级的问题，这是 OceanBase 最早解决的问题。杨传辉：是的，应用驱动技术创新。当前 OceanBase 在某些方面已超 国外主流数据库，坦诚说还有好多地方没有超越。但 OceanBase 积累了全球用户丰富场景以及对较罕见场景的解决方案，是其它数据库达不到的。卢东明：真正能颠覆某国外主流数据库的，不是他自己本身，可能是一个更好的 OceanBase。按照 他 的路径来优化，试图去超越它，这是很难的事。可如何跳出它的条条框框，可能还有超越的机会。开发者最喜欢什么样的数据库?在不同的时间、不同的场景下，可能答案不同。卢东明：每个人都做过开发、DBA，在各位看来，开发者最喜欢什么样的数据库？张文升：我认为功能丰富、简单好用的数据库是开发者喜欢的。杨建荣：我们社区做过开发者对于分布式数据库的调研，提炼出“4+1”模型，大家对于分布式数据库的选型有四个点：一是切入点，对于分布式数据库的选型要求先是稳定性，其次是可扩展性。二是对硬件成本、研发接入使用成本要尽量低。三是对产品的功能、易用性比较关注，尽可能跟主流的技术栈可以兼容。四是很多公司有多种技术栈，开发者希望能对 SQL 协议兼容，让研发接入更简单。这点 OceanBase 相对来说，是有优势的。张文升：随着业务越来越复杂，用户会倾向于不同业务场景的解决方案，在该细分的业务场景有没有数据库来解决，因此部署越来越多类型的数据库将可能成为企业的常态，但很难说有一款数据库可以解决全部场景问题，如图、时序、向量、多模态等，OceanBase 是怎么看待这个问题？杨传辉：OceanBase 攻坚 HTAP 能力。今天 HTAP 还做不到将离线分机的问题全给解决掉。未来，HTAP 可能会在 OLTP 加上在线分析，但如果是图这类的场景不一定完全适合，要基于HTAP 做 Key Value、多模等，一个套件里有多个产品，一次性解决分布式、高可用等问题，避免额外的研发投入。陈栋：您这边是站在数据库的视角来观察，从我的视角来看，为了解决用户对数据库选型的问题。我们提供一个数据库 PaaS 平台，支持十几种数据库的全生命周期管理，这也是一种解决方案。杨传辉：是的，这个方式也是非常好。只要能满足用户需求的解决方案，理论上都是合理的，而且会共存的。陈栋：作为开发者，希望数据库可以更加开放，可以包罗更多的 API、文档，对开发者更友好，让类似我们这种生态公司可以更好地服务好用户。杨传辉：数据库的发展不仅靠厂商，而是厂商+生态+开发者+用户+应用场景携手发展。卢东明：刚才提到 HTAP，据统计，中国有近 260 个数据库品牌，涵盖很多 HTAP 数据库。在 OceanBase 提到的“HTAP”含义，和广泛意义上大家提的 HTAP 是否有不同的地方？杨传辉：我将 HTAP 分成三类，第一类是将 OLTP、OLAP 一套做并集。第二类是做交集，对于本身 TP 能力和 AP 能力都比较弱的场景，交集来做大家都没有覆盖的场景。第三类是 OceanBase 自然衍生的思路，像 OLTP 加上 OLAP 成为 HTAP 系统应用的核心，假如连应用的核心能力都没有的话，这种 HTAP 不是真正的 HTAP。卢东明：有的数据库 AP 强补足 TP 的能力，这是合理的路径吗？杨传辉：只有从TP开始才有可能成功，TP的门槛很高，涉及到核心场景。如果将核心场景做好了，往 AP 是自然延伸，相当于由高到低，如果 AP 做好了，本身 AP 的重要程度、核心程度远远低于TP，别人不会因为选了 AP 而选 TP。陈栋：Oracle 也是这样的思路，把 TP 做到极致，同时拥有部分 AP 能力、离线能力。OceanBase 后续的 roadmap 非常巧妙，拿出一个副本做列存，既升节空间，又做到数据的一致性，不需要单独设计一个表格，我十分期待这个功能。杨建荣：Oracle 是 HTAP 数据库，但在列存方向上 Oracle 有 In Memory 特性，有空间换时间的实现方式。OceanBase 是如何实现的？杨传辉：Oracle 是 IMC 模式，不是真正的列存路线。虽然列存是更先进的方案，但 Oracle 的技术债务太大，OceanBase 没有 Oracle 那么重的技术债务，可以直接用最优的方式来实现。卢东明：回到刚才说的，真正颠覆掉 国外主流数据库的不是一个更好的 他，一定是一个更好的OceanBase。希望未来还能看到 OceanBase 为我们带来更多的创新。在首届OceanBase开发者大会上，我们观察到 OceanBase 在过去13年，以稳定性、可扩展性和低成本正成为分布式数据库领域的典型实践，并不断创新，推出单机分布式一体化架构，让分布式数据库走向通用。同时攻坚 HTAP 能力，让一份数据既能做交易又能做分析，实现低延时、低成本，做一款对开发者友好的数据库。那么开发者如何在各种技术栈不断演进，数据库产品不断迭代下，保持竞争力不断成长？一是多总结。好记性不如烂笔头，多总结，让自己看到问题就能想到解决问题的思路。三是社区连接，多参加社区活动，多做技术分享，总有收获的，像OceanBase开发者大会也是不错的选择。
鲁公网安备37020202000738号