-
公开(公告)号:CN105447183A
公开(公告)日:2016-03-30
申请号:CN201510932850.X
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种MPP架构数据库集群序列系统及序列管理方法,所述系统包括:节点sequence序列模块,用于存储序列值,为所属节点生成全局唯一序列数值;中心sequence序列模块,用于管理全局序列sequence对象,并协调各节点sequence序列模块工作。由于采用上述技术方案,可以让MPP架构的数据库集群具有sequence序列功能,包括sequence序列对象管理,使得使用MPP架构数据库集群的sequence功能可以获得和单机数据库相同的体验;此外通过节点sequence模块和中心sequence模块的配合,可以提供高性能的sequence功能。
-
公开(公告)号:CN105354323A
公开(公告)日:2016-02-24
申请号:CN201510786399.5
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30442
Abstract: 本发明旨在提供一种在列存数据库中使用布隆过滤器快速精确查询数据的方法。包括,在列存数据库的精确查询数据操作中使用保存单元级的布隆过滤器对数据保存单元进行筛选。布隆过滤器可以有效减少精确查询数据操作过程中对磁盘和文件系统的I/O访问,加快精确查询数据操作的速度。
-
公开(公告)号:CN105354320A
公开(公告)日:2016-02-24
申请号:CN201510782856.3
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/172
Abstract: 本发明提供了一种快速加载多个数据文件的方法,所述方法包括:获取数据文件的基本信息;根据获取的数据文件的基本信息加载所述数据文件。本发明不必等待获取到全部数据文件的基本信息,就开始对已经获取到基本信息的数据文件进行加载,因此可以提高集群数据库加载工具的性能,有效减少用户的等待时间,极大改善用户的使用体验。
-
公开(公告)号:CN114356230B
公开(公告)日:2024-04-23
申请号:CN202111584289.2
申请日:2021-12-22
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种提高列存储引擎读性能的方法,包括如下步骤:S1、将数据单元DC存储至文件对象PCFile中,并对文件对象PCFile建立文件索引,将该文件索引进行存储;S2、设置对象存储缓存模块读取模式,用以列存储引擎在不同情况下调用对象存储缓存模块;S3、设置热度值,并根据热度值对对象存储缓存模块设置淘汰方法。本发明所述的一种提高列存储引擎读性能的方法满足了计算任务运行的数据资源需求,有效的增强了列存储引擎在读取对象存储数据的速度,解决了传统方法中列存储引擎读取对象存储数据缓慢的问题,为传统数据库与对象存储的结合提供了新的方法。
-
公开(公告)号:CN117390465B
公开(公告)日:2024-02-20
申请号:CN202311686615.X
申请日:2023-12-11
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F18/22 , G06F16/2455 , G06F18/214 , G06F18/24 , G06F18/27
Abstract: 本发明创造提供了一种工作负载预测方法,该方法包括以下步骤:获取当前的负载信息;将当前的负载信息输入预先训练的预测模型;所述预测模型包括线性模型和非线性模型;计算非线性模型与线性模型的预测结果的比值,若比值大于指定的比例阈值,则输出非线性模型的预测结果;反之,则输出线性模型的预测结果。本发明创造中,在周期式、峰值式、渐变式等多种工作负载预测中均能够获得精确度较高的预测结果,且该预测方法中未采用额外的神经网络架构,训练时间更短,训练成本更低。
-
公开(公告)号:CN112612855B
公开(公告)日:2023-01-24
申请号:CN202011607632.6
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。
-
公开(公告)号:CN114362870B
公开(公告)日:2022-11-29
申请号:CN202111591907.6
申请日:2021-12-23
Applicant: 天津南大通用数据技术股份有限公司
IPC: H04J3/06 , H04L41/0893 , G06F16/23 , G06F16/27
Abstract: 本发明提供了一种用于分布式事务型数据库的片区逻辑时钟方法,为了提供比分布数据节点更准确的物理时钟服务,同时考虑均衡服务的需要,将分布式事务型数据库集群划分多个片区,每个片区都设立一个片区时钟服务节点,用于为片区内所有节点提供统一的物理时钟服务,包括片区时钟,所述片区时钟用于为分布式事务型数据库提供全局的时钟服务,同时片区时钟用于记录全局的事件发生时间。本发明有益效果:一种用于分布式事务型数据库的片区逻辑时钟方法,提供一种分布与集中相结合的片区时钟,为分布式事务型数据库提供时钟服务,同时兼备集中式和分布式时钟的优点,弥补了集中式和分布式时钟的不足。
-
公开(公告)号:CN114356758A
公开(公告)日:2022-04-15
申请号:CN202111592199.8
申请日:2021-12-23
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/36
Abstract: 本发明提供了一种基于动态评估的并行化分布式数据库引擎测试方法及系统,具体步骤为:服务端设置多个测试集群,确定需要测试的用例,并将需要测试的用例分组,每组用例组中的用例估算耗时总和接近;以并行方式在多个测试集群上部署数据库,每个测试集群组执行一组用例,读取并执行用例组,返回结果,将返回结果与用例预期结果对比,获取对比结果,记录用例执行对比信息;所有用例执行结束后,数据库中设置记录用例执行对比信息的用例结果表。本发明解决了现有数据库进行用例测试时,效率低、资源利用率低、与预期结果对比误差大的问题。
-
公开(公告)号:CN114003622B
公开(公告)日:2022-04-08
申请号:CN202111636304.3
申请日:2021-12-30
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/242 , G06F16/27 , G06F11/14
Abstract: 本发明提供了一种事务型数据库之间巨大事务增量同步方法,具体包括以下内容,通过日志流式挖掘模块解析业务系统数据库内的逻辑日志,将解析逻辑日志后得到的重做SQL发送至事务还原模块进行事务还原,还原过程中如果事务的长度超过设定长度阈值,需要对事务进行拆分,拆分后通过数据投递模块向目标数据库写入事务,若没有超过长度阈值则直接写入目标数据库。本发明所述的一种事务型数据库之间巨大事务增量同步方法,在数据保证数据一致性和内存可控的前提下实现源库巨大事务的增量同步。
-
公开(公告)号:CN113918657A
公开(公告)日:2022-01-11
申请号:CN202111519022.5
申请日:2021-12-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种并行高性能增量同步方法,包括并发预处理重排序队列模块;据原始事务缓存区中的原始事务中的每条SQL语句的表名和主键值计算hash值,通过hash值与并发预处理重排序队列模块中的队列数取模,根据取模值将原始事务中的每条SQL语句重新分配给与取模值对应的队列中;多线程写入模块把队列中的SQL语句通过写入线程写入到目标数据库;断点续传信息守护模块找出所有队列中增量信息对应的事务号最小的事务号,把该事务号记录到文件中,便于SQL写入目标数据库过程中断点后继续读取,不遗漏数据。本发明所述的一种并行高性能增量同步方法,在数据保证数据一致性的前提下实现目标库快速并发的增量同步。
-
-
-
-
-
-
-
-
-