华为云数据库斯享会:引领未来技术趋势

发表时间: 2024-07-10 15:55

近日,以“扎根技术,向深向实”为主题的2024华为云数据库斯享会在北京、上海、广州、深圳四地成功举办。活动邀请了华为云GaussDB(for MySQL)、GeminiDB等多个产品的架构师,以及金融、互联网、文娱等多个行业的技术专家,深度解析华为云云原生数据库的技术创新,共同探讨应用挑战以及解决方案,分享数据库应用实践并探索数据库未来发展趋势。

扎根技术,向深向实

华为云数据库产品总监窦德明表示,华为云数据库斯享会旨在给数据库技术爱好者打造一个轻松的交流技术的平台,扎根技术,向深向实,聚八方领航者,论数据库之道。让每一位技术爱好者在收获技术的同时,能够给华为云数据库持续提供反馈和建议,更好地服务于数据库用户。

GaussDB(for MySQL)之高可用

华为云数据库GaussDB(for MySQL)架构师分享了《MySQL高可用背后的秘密》,深入剖析MySQL在面临业务写入压力大或者主库故障、备库不能无损快速替代主库的高可用问题场景。

GaussDB(for MySQL)只读库和备库支持高性能(事务提交不再需要刷两次盘)和崩溃恢复安全,在高可靠的保障下,有效地降低复制延迟。在sysbench高并发只写的重负载场景下,只读库和备库复制时延小于1秒。同时,GaussDB(for MySQL)支持分布式事务崩溃恢复安全,实现从无到有的突破,并修复分布式事务经常遇到的1397、1399、 1205、1032、1440等高可用错误,极大地提升数据库实例的可靠性和可用性。

GaussDB(for MySQL)实现资源与性能的完美平衡

华为云数据库GaussDB(for MySQL)优化器架构师分享了《如何解决MySQL资源与性能的挑战》,探讨如何综合考虑资源、性能和成本,取得资源的合理利用和性能之间的平衡。

GaussDB(for MySQL)通过内核优化和现有资源利用的方式来提高系统的查询性能。内核优化技术包括查询重写(优化查询计划,减少CPU和IO开销)、索引优化(创建适当的索引,加速数据检索)等,可以减少资源消耗;现有资源包括缓存(利用内存缓存,减少磁盘IO)和查询优化器(选择最佳执行计划,减少资源需求),能够提高优化效率。

在计算资源的利用上,Parallel Query将表数据分为多个数据块,通过启动多个工作线程来处理数据块并产生中间结果,同时,主线程收集中间结果并进一步处理产生最终输出结果;Partial result cache,将查询内部某个算子的中间结果进行缓存,能够节省计算成本,起到算子加速的作用;Near Data Processing (NDP),将诸如列提取、聚合计算和条件过滤等操作下推到分布式存储层的多个节点上,节约网络资源,让计算下沉,提升存储层计算资源的使用率。

云原生数据库降本与增效之路

华为云数据库MySQL存储引擎架构师在《数据库降本增效的演进之路》的主题分享中表示, 数据库的增效主要体现在性能提升、资源利用和更易运维三个方面。

传统MySQL架构存在浪费计算、存储、网络资源,复制延迟、备份恢复慢等问题,已经难以应对企业大规模的数据挑战。通过演进到云原生GaussDB(for MySQL)存储与计算分离的架构,可以有效的解决以上问题。针对SQL执行效率,可以从并行和流水化的角度入手,提高性能。而Serverless作为云计算的必经之路,适用于可变负载或者不可预测负载场景,能为用户打造更强弹性、更高性价比、更低运维难度的解决方案,让开发者聚焦核心业务上层应用逻辑的开发创新与实现,帮助企业降本提质增效。

华为云GeminiDB架构师分享了《云原生多模数据库GeminiDB多场景业务实践》。他表示,GeminiDB是一款非关系型多模数据库,主要应用在KV数据库场景,100%兼容 Redis, 可平滑替换。在游戏行业、广告推荐、互联网多租户等业务场景下的实践经验,特别是在提高效率、降低成本、增强数据安全性和简化开发流程方面的优势。

此外,还重点探讨了从MySQL到GeminiDB Redis接口的更轻量的内存加速方案,以及KV数据库在海量标签数据极速导入Redis,运用影子库存储历史N天特征数据的灵活方案,从本质上解决业务经常遇到的痛点。

MySQL5.7社区EOL,用户应对之策

华为云数据库软件总工程师彭立勋就MySQL EOL应对策略、AI对数据库行业带来的改变以及DBA如何发挥价值等话题与从业者进行了深度探讨。

MySQL 5.7 EOL,这意味着 MySQL 5.7用户将不再获得官方更新、错误修复或安全补丁,MySQL装机量最大的5.7版本用户都有哪些应对方式呢?

  • 路径一:直接升级到MySQL 8.0。
  • 路径二:迁移到其他 MySQL 生态的开源产品,比如MariaDB。
  • 路径三:依托云平台的维护再多撑一两年,在这一两年中再选择方向。
  • 路径四:不变,继续使用 MySQL 5.7。

结合MySQL未来版本的发布策略,选择路径一,直接升级到MySQL 8.0似乎更值得推荐。

MySQL 5.7升级到MySQL 8.0的必要性

MySQL 8.0 将远古Bug#199、Bug#25922彻底修复,还增加了CTE & Windows Function 、HASH JOIN、直方图等新功能和优化能力,更加适配“现代化”硬件。当然,MySQL 8.0也会带来新的问题,如滚动引入特性带来的不稳定、新优化器带来的执行计划跳变、大量引入新员工带来的代码质量问题等。

不过,通过在“高并发”、“IO-Bond”、“UTF8MB4”三个维度对MySQL 5.7和MySQL 8.0进行性能测试,发现MySQL8.0性能均优于MySQL 5.7,答案显而易见。

AI对数据库行业的改变

AI与数据库结合是当前行业发展的热点,华为云数据库对该领域进行了探索,并取得一定的结果。

  • 第一,Tuning for DB(智能优化数据库参数),通过使用DB-Tune、OtterTune工具,自动帮助用户分析和优化数据库性能。
  • 第二,Chat with DB(自然语言操作数据库),通过提供Chat2DB,实现交互式运维。
  • 第三,NL2SQL(自然语言转SQL),通过使用AI2SQL、AIQuery工具,可以让自然语言转换为SQL语句或自然语言生成SQL查询。
  • 第四,AI-OPS(智能运维数据库),能够自动化监控和分析,实现预测性维护,提升系统可靠性。

DBA如何做好职业规划?

云和AI的迅速发展,让DBA可以从基础的繁琐运维工作中解脱出来,可以聚焦更有价值的业务

  • 走向应用架构,从DBA转为DA。成为数据架构师,需要对数据有全局的思维,更强调于顶层设计,帮助企业做好整体数据规划设计工作。
  • 走向工具运维开发,从OPS 转变为DevOps。成为运维开发人员,可以从数据库领域扩展到大数据领域,进行运维开发,适合有一定研发基础的DBA。
  • 走向全栈开发,从DBA转为Full Stack。成为全栈开发者,需要掌握至少一门后端编程语言,并了解前端开发的基础。
  • 走向团队管理,从Engineer变成Manager。成为管理者,需要DBA职位涉猎的技术领域较广,再加上对软技能有一定要求,可以考虑将技术管理作为发展方向。

随着AI、智能化在行业应用中越来越普及,业务和技术演变将不断重塑DBA在组织中的角色。因此,DBA在日常工作中,不仅要沉下心去做,也要抬起头去看,需要增强自身的知识和经验积累,提升竞争力,才能保持良好的职业发展。

扎根技术,向深向实,后续华为云数据库将举行更多的数据库圈层活动,与数据库从业者、爱好者交流数据库技术与应用实践、发展趋势等,共同推动数据库的技术发展和应用。


关注@华为云,了解更多资讯