-
公开(公告)号:CN114356758B
公开(公告)日:2024-11-19
申请号:CN202111592199.8
申请日:2021-12-23
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/36
Abstract: 本发明提供了一种基于动态评估的并行化分布式数据库引擎测试方法及系统,具体步骤为:服务端设置多个测试集群,确定需要测试的用例,并将需要测试的用例分组,每组用例组中的用例估算耗时总和接近;以并行方式在多个测试集群上部署数据库,每个测试集群组执行一组用例,读取并执行用例组,返回结果,将返回结果与用例预期结果对比,获取对比结果,记录用例执行对比信息;所有用例执行结束后,数据库中设置记录用例执行对比信息的用例结果表。本发明解决了现有数据库进行用例测试时,效率低、资源利用率低、与预期结果对比误差大的问题。
-
公开(公告)号:CN117390064B
公开(公告)日:2024-03-19
申请号:CN202311697041.6
申请日:2023-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2453 , G06F16/28 , G06N3/044 , G06N3/0464
Abstract: 本发明创造提供了一种基于可嵌入子图的数据库查询优化方法,该方法包括以下步骤:从批量的数据库查询操作中提取常见子查询;所述常见子查询为出现比例超过指定阈值的查询操作;计算所述常见子查询的查询代价,并将所述常见子查询作为子节点嵌入用于数据库查询的代价估计树中。本发明创造中,将出现比例较高的,已有代价估计的常见子查询嵌入代价估计树中,以避免进行数据库查询时对这些子查询进行反复的代价估计,进而最小化累积效应,并减少重复查询,实现数据库查询的低能耗和高精度。
-
公开(公告)号:CN117390465A
公开(公告)日:2024-01-12
申请号:CN202311686615.X
申请日:2023-12-11
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F18/22 , G06F16/2455 , G06F18/214 , G06F18/24 , G06F18/27
Abstract: 本发明创造提供了一种工作负载预测方法,该方法包括以下步骤:获取当前的负载信息;将当前的负载信息输入预先训练的预测模型;所述预测模型包括线性模型和非线性模型;计算非线性模型与线性模型的预测结果的比值,若比值大于指定的比例阈值,则输出非线性模型的预测结果;反之,则输出线性模型的预测结果。本发明创造中,在周期式、峰值式、渐变式等多种工作负载预测中均能够获得精确度较高的预测结果,且该预测方法中未采用额外的神经网络架构,训练时间更短,训练成本更低。
-
公开(公告)号:CN112612854B
公开(公告)日:2023-01-24
申请号:CN202011607550.1
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法,包括以下步骤:S1、集群Coordinator接收用户的DML操作;S2、向一致性服务gcware注册Failover信息;S3、向计算单元发送DML任务;S4、计算单元处理过程中Coordinator宕机;S5、触发Failover;S6、进行一致性服务;S7、选择新的coordinator接管;S8、判断各计算单元状态;S9、回滚目标表数据;S10、释放目标表排它锁。本发明创造有益效果:一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确,保持了目标表数据在各计算单元的数据一致,避免出现严重的数据问题。
-
公开(公告)号:CN114328206A
公开(公告)日:2022-04-12
申请号:CN202111594973.9
申请日:2021-12-23
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/36
Abstract: 本发明提供了一种能够实现高覆盖率且高效率的白盒异常测试方法,在数据库产品中加入白盒异常处理代码逻辑;测试人员指定数据库测试目标并开启对用例库中所有用例的测试程序;读取一条用例,为被测用例初始化一个空堆栈池;每当数据库内异常处理代码被触发时,生成被测用例当前执行点的函数调用栈,将函数调用栈存储到被测用例对应的堆栈池中,记录被测用例的堆栈池信息;测试程序对用例库中所有用例执行异常测试,将造成异常的函数调用栈对应的异常信息记录到日志中;根据日志定位此次异常测试出现的位置及问题。本发明所述的一种能够实现高覆盖率且高效率的白盒异常测试方法,遍历数据库中所有触发异常的调用堆栈,全覆盖保证测试的准确完善。
-
公开(公告)号:CN113918657B
公开(公告)日:2022-03-15
申请号:CN202111519022.5
申请日:2021-12-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/2455
Abstract: 本发明提供了一种并行高性能增量同步方法,包括并发预处理重排序队列模块;据原始事务缓存区中的原始事务中的每条SQL语句的表名和主键值计算hash值,通过hash值与并发预处理重排序队列模块中的队列数取模,根据取模值将原始事务中的每条SQL语句重新分配给与取模值对应的队列中;多线程写入模块把队列中的SQL语句通过写入线程写入到目标数据库;断点续传信息守护模块找出所有队列中增量信息对应的事务号最小的事务号,把该事务号记录到文件中,便于SQL写入目标数据库过程中断点后继续读取,不遗漏数据。本发明所述的一种并行高性能增量同步方法,在数据保证数据一致性的前提下实现目标库快速并发的增量同步。
-
公开(公告)号:CN113918328A
公开(公告)日:2022-01-11
申请号:CN202111164471.2
申请日:2021-09-30
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F9/50
Abstract: 本发明提供了一种基于LRU的数据缓冲区内存释放调度系统及方法,用于处理数据传输任务中的缓存释放,对重要信息文件数据进行分级保留;解决了数据缓存中某些重要资源容易被错误的终止,导致之后再次调度消耗大量时间的问题;实现了内存领域的资源利用相对均衡的基础上缩短了数据传输任务的整体执行时间。本发明所述的系统及方法将内存区域进行分区,按照级别分别优先放置相应的缓存数据文件,在内存释放时首先释放低级别缓存区的数据,避免了重要数据的清理;通过分区算法,显著地提升了内存数据调度整体时间。
-
公开(公告)号:CN113515537B
公开(公告)日:2021-12-31
申请号:CN202111065798.4
申请日:2021-09-13
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/23 , G06F16/215 , G06F16/22 , G06F11/14
Abstract: 本发明提供了一种实现生命周期表垃圾数据免维护的方法,将数据存入预先建立的生命周期表,生命周期表由远到近期划分多个连续的时间段,依次为P1、P2、P3,每存入新数据,表内历史数据进行一次流转,流转步骤为:对生命周期表加锁;清除P2分区中垃圾数据,将P3中最先存入的部分数据向P2中拷贝,并作为P2中最新数据存放;清除P1分区中垃圾数据,将P2中最先存入的部分数据向P1中拷贝,并作为P1中最新数据存放;更新生命周期表的内部系统时间;删除P3中已被拷贝到P2的数据;删除P2中已被拷贝到P1的数据;解锁。本发明所述的生命周期表用分区边界来控制数据可见性和可查询性,采用先拷贝再删除的方式,即不产生任何额外的成本,效率高,流转可靠。
-
公开(公告)号:CN113672619A
公开(公告)日:2021-11-19
申请号:CN202110942746.4
申请日:2021-08-17
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/22 , G06F16/2458
Abstract: 本发明提供了一种按照hash规则切分数据使其更均匀的方法,首先根据设置的内存大小去计算出hash桶的数量,然后将待切分的数据集合进行采样,在采样过程中,记录下相同数据出现的次数,然后把记录下来的数据和数据的出现次数按照出现次数进行排序,将顶端的数据进行记录形成topN数据信息,然后在进行单独划分形成独立的hash数据块。本发明所述的一种按照hash规则切分数据使其更均匀的方法,各数据块切分得更均匀可以使得多个线程可以在同一时间完成工作,避免单个线程由于划分的数据量巨大使得处理时间过长的问题。
-
公开(公告)号:CN112685779A
公开(公告)日:2021-04-20
申请号:CN202011636522.2
申请日:2020-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62 , G06F16/242
Abstract: 本发明提供了一种基于数据库执行select语句主要关键字的静态可信判定方法,包括以下步骤:S1.管理员根据SQL语句的特征确定主要关键字,计算关键字字符串的hash值,将hash加到原有的最新的PCR后,再进行hash计算得到新的PCR值;S2.数据库运行在可信环境中时,用户使用select语句进行查询,并计算select语句的PCR值;S3.将S2中计算得到的PCR值与步骤S1中计算得到的PCR值进行比较;S4.比较结果一致证明当前用户输入SQL语句可信,继续执行下步操作,不一致证明用户操作不可信,终止执行并反馈给用户。本发明所述的基于数据库执行select语句主要关键字的静态可信判定方法选取的主要关键字是用户执行绝大多数select语句都使用的关键字,用来进行静态可信计算可以尽可能的满足用户需求。
-
-
-
-
-
-
-
-
-