海量数据并行同步至openGauss数据库的高效方法
发表时间: 2024-07-11 18:38
金融界 2024 年 7 月 5 日消息,天眼查知识产权信息显示,北京海量数据技术股份有限公司申请一项名为“一种并行同步增量数据至 openGauss 数据库的方法和系统”,公开号 CN202410384084.7,申请日期为 2024 年 4 月。
专利摘要显示,本发明涉及数据同步技术领域,提供一种并行同步增量数据至 openGauss 数据库的方法和系统,包括:采用增量主线程初始化核心线程池、子队列以及当前队列;根据当前队列是否达到长度限制以及当前处理的事务与子队列的数据是否存在数据冲突,处理采集的增量数据。本发明的并行同步增量数据至 openGauss 数据库的方法和系统,通过将数据并发写入的方式和子队列中数据重排序,可以提升增量同步的速度,降低目标端与源端的数据延迟,并保证事务提交的顺序和完整性,达到数据实时同步的效果。
本文源自金融界