-
公开(公告)号:CN114003622A
公开(公告)日:2022-02-01
申请号:CN202111636304.3
申请日:2021-12-30
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/242 , G06F16/27 , G06F11/14
Abstract: 本发明提供了一种事务型数据库之间巨大事务增量同步方法,具体包括以下内容,通过日志流式挖掘模块解析业务系统数据库内的逻辑日志,将解析逻辑日志后得到的重做SQL发送至事务还原模块进行事务还原,还原过程中如果事务的长度超过设定长度阈值,需要对事务进行拆分,拆分后通过数据投递模块向目标数据库写入事务,若没有超过长度阈值则直接写入目标数据库。本发明所述的一种事务型数据库之间巨大事务增量同步方法,在数据保证数据一致性和内存可控的前提下实现源库巨大事务的增量同步。
-
公开(公告)号:CN105354319B
公开(公告)日:2019-01-25
申请号:CN201510782764.5
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/25
Abstract: 本发明实施例提供一种针对SN架构的MPP数据库集群的数据库连接池管理方法及系统,其中,所述方法包括:根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池,生成缓存分区;根据应用程序所发起的连接数据请求,选取提供可用连接的缓存分区供所述应用程序连接;使所述缓存分区借出一个连接,并维护缓存分区的状态。本发明实施例能够针对SN架构的MPP数据库集群对数据库连接池进行有效管理,可以通过实现标准接口与现有应用无缝迁移,且相比传统数据库连接池性能有大幅提升,实现创建连接时的负载均衡,且能够自定义负载均衡策略。并高效解决基于SN架构大规模集群节点失效场景下,连接池释放失效连接问题。
-
公开(公告)号:CN114003622B
公开(公告)日:2022-04-08
申请号:CN202111636304.3
申请日:2021-12-30
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/242 , G06F16/27 , G06F11/14
Abstract: 本发明提供了一种事务型数据库之间巨大事务增量同步方法,具体包括以下内容,通过日志流式挖掘模块解析业务系统数据库内的逻辑日志,将解析逻辑日志后得到的重做SQL发送至事务还原模块进行事务还原,还原过程中如果事务的长度超过设定长度阈值,需要对事务进行拆分,拆分后通过数据投递模块向目标数据库写入事务,若没有超过长度阈值则直接写入目标数据库。本发明所述的一种事务型数据库之间巨大事务增量同步方法,在数据保证数据一致性和内存可控的前提下实现源库巨大事务的增量同步。
-
公开(公告)号:CN113918657A
公开(公告)日:2022-01-11
申请号:CN202111519022.5
申请日:2021-12-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种并行高性能增量同步方法,包括并发预处理重排序队列模块;据原始事务缓存区中的原始事务中的每条SQL语句的表名和主键值计算hash值,通过hash值与并发预处理重排序队列模块中的队列数取模,根据取模值将原始事务中的每条SQL语句重新分配给与取模值对应的队列中;多线程写入模块把队列中的SQL语句通过写入线程写入到目标数据库;断点续传信息守护模块找出所有队列中增量信息对应的事务号最小的事务号,把该事务号记录到文件中,便于SQL写入目标数据库过程中断点后继续读取,不遗漏数据。本发明所述的一种并行高性能增量同步方法,在数据保证数据一致性的前提下实现目标库快速并发的增量同步。
-
公开(公告)号:CN105354319A
公开(公告)日:2016-02-24
申请号:CN201510782764.5
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 本发明实施例提供一种针对SN架构的MPP数据库集群的数据库连接池管理方法及系统,其中,所述方法包括:根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池,生成缓存分区;根据应用程序所发起的连接数据请求,选取提供可用连接的缓存分区供所述应用程序连接;使所述缓存分区借出一个连接,并维护缓存分区的状态。本发明实施例能够针对SN架构的MPP数据库集群对数据库连接池进行有效管理,可以通过实现标准接口与现有应用无缝迁移,且相比传统数据库连接池性能有大幅提升,实现创建连接时的负载均衡,且能够自定义负载均衡策略。并高效解决基于SN架构大规模集群节点失效场景下,连接池释放失效连接问题。
-
公开(公告)号:CN113918657B
公开(公告)日:2022-03-15
申请号:CN202111519022.5
申请日:2021-12-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种并行高性能增量同步方法,包括并发预处理重排序队列模块;据原始事务缓存区中的原始事务中的每条SQL语句的表名和主键值计算hash值,通过hash值与并发预处理重排序队列模块中的队列数取模,根据取模值将原始事务中的每条SQL语句重新分配给与取模值对应的队列中;多线程写入模块把队列中的SQL语句通过写入线程写入到目标数据库;断点续传信息守护模块找出所有队列中增量信息对应的事务号最小的事务号,把该事务号记录到文件中,便于SQL写入目标数据库过程中断点后继续读取,不遗漏数据。本发明所述的一种并行高性能增量同步方法,在数据保证数据一致性的前提下实现目标库快速并发的增量同步。
-
公开(公告)号:CN105279280A
公开(公告)日:2016-01-27
申请号:CN201510786466.3
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/254 , G06F16/214
Abstract: 本发明是提供一种可以快速提取oracle数据库中的数据、并将其转换为MPP数据库能识别的数据并快速加载到MPP数据库中的方法与工具,以此为基础来支撑企业在线交易系统与大数据平台的数据交换。
-
-
-
-
-
-