-
公开(公告)号:CN104375906B
公开(公告)日:2017-06-13
申请号:CN201410664300.X
申请日:2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种基于文件系统的大规模备份数据快速校验方法:包括:备份索引文件;所述备份索引文件包括实际备份数据的文件夹和文件块;所述文件夹包括文件夹的路径;所述文件块包括文件块所在文件的路径、起始偏移、文件块大小和校验值。本发明的有益效果为:以文件块为最小备份单位,无需关注整个文件的校验值;这种备份数据的组织形式,有利于使用多核CPU资源进行并行校验;校验数据时,除校验所有文件块以外,仅需校验文件大小的总和以及文件夹的存在情况,即可确保备份数据严格正确,避免了大规模的归并运算。
-
公开(公告)号:CN106776001A
公开(公告)日:2017-05-31
申请号:CN201611029645.3
申请日:2016-11-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F9/50
Abstract: 本发明提供了一种分布式数据库集群数据的分布方法及装置,其中,所述方法包括:在集群节点安装时,获取所述节点的硬件信息;配置所述集群的哈希地图Hash Map,并根据所述节点的硬件信息为每个节点分配哈希桶。可灵活的调整节点哈希桶的数量,能够保证高硬件资源的节点分配更多的数据,避免了节点运算的木桶效应。
-
-
公开(公告)号:CN106354830A
公开(公告)日:2017-01-25
申请号:CN201610777767.4
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据库集群节点间数据同步的方法及装置,其中,所述方法包括:从元数据服务器获取需要同步的表的信息;检查锁队列,确认是否包括删除所述表的锁;如果所述锁队列中不包括所述表的删除信息,则进行数据同步。可以在对表进行修改之前将表删除,减少数据交换同步,避免浪费时间和系统资源。高效的完成数据库同步。
-
公开(公告)号:CN106354829A
公开(公告)日:2017-01-25
申请号:CN201610777661.4
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/221
Abstract: 本发明提供了一种列存数据库的物化方法及装置,其中,所述方法包括:按照列存数据库物化需要的行号索引进行排序,将排序后的数据进行物化;将物化的数据根据物化序号排序,按照所述行号索引对数据进行物化。通过将乱序的行号索引排序,提前将该维度数据物化,以避免频繁的重复I/O。然后通过高效的排序算法将物化的数据调整顺序,使原来的维度可以顺序物化。最后将原来的乱序行号索引换成顺序的索引,基于新的数据物化。提高了join后物化的性能,减少了大量的重复I/O。
-
公开(公告)号:CN106354828A
公开(公告)日:2017-01-25
申请号:CN201610777653.X
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F11/1448 , G06F16/27
Abstract: 本发明提供了一种分布式数据库数据的分片方法及装置,其中,所述方法包括:确定安全组内节点的数量;确定每个节点中数据分片的数量,其中,每个节点中数据分片的数量不大于所述安全组内节点的数量;根据所述节点和数据分片的数量部署数据分片。通过根据所安全组内节点和数据分片的数量部署数据分片,当安全组内存在机器损坏时,可以由当前安全组内的多台机器来承担损坏机器的访问压力,避免了访问压力由单台机器承担,避免了短板效应的出现,此外还具有较强的容错能力,还可实现负载均衡。
-
公开(公告)号:CN106339480A
公开(公告)日:2017-01-18
申请号:CN201610777672.2
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了数据分组聚合数据分布的选择方法及装置,所述方法包括;判断数据分组字段是否为hash分布列,如果为hash分布列,则直接下发至计算节点执行数据连接;如果不为hash分布列,则根据操作时间结果选择数据分布方式。通过对不同的配置的操作时间进行比较,从中选取最优配置方法,实现数据分组聚合操作的性能最优。
-
公开(公告)号:CN105512315A
公开(公告)日:2016-04-20
申请号:CN201510932891.9
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30466
Abstract: 本发明涉及分布式数据库数据存储领域,尤其涉及一种分布式数据库SQL执行中INNER JOIN的智能评估方法。该方法采用贪心方法、动态规划方法和遗传算法3种评估方法相结合的方式选取INNER JOIN的较优执行顺序,尽可能减少INNER JOIN之后的数据量,保证INNER JOIN的高效率执行。本发明可以由用户指定任一种评估方法,提高系统的灵活性和可扩展性。
-
公开(公告)号:CN105512036A
公开(公告)日:2016-04-20
申请号:CN201510924677.9
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/36
CPC classification number: G06F11/3668
Abstract: 本发明公开了根据预置规则自动生成测试用例的测试模板及测试方法,主要涉及数据库领域。包括参数定义区和执行步骤定义区,所述参数定义区的参数能够任意定义,所述执行步骤定义区指定步骤里调用的测试脚本,所述测试脚本包括description函数、detail函数和process函数,所述description函数里实现输出该步骤的概要信息,所述detail函数实现该步骤执行的具体测试步骤,所述process函数实现该步骤需要执行的测试过程。本发明通过可执行的、自描述的、可选参数的过程,自动组合形成测试用例,可以大大缩短测试时间,减少测试人力需求。
-
公开(公告)号:CN103064964B
公开(公告)日:2016-04-20
申请号:CN201210591754.X
申请日:2012-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种支持分布式事务的数据库的连接方法,包括:将分布式事务所涉及的分布式数据库连接对象作为一个整体进行封装,形成多节点执行器,并将多节点执行器对象作为分布式数据库连接池的缓存对象进行缓存,并建立与应用系统的对应关联关系;分布式数据库连接池接收到应用系统请求后,确定与该请求对应的有逻辑关系的缓存的多节点执行器对象;将上一步骤所确定的多节点执行器对象分配给应用系统用于对数据库的分布式事务操作。本发明的有益效果是能够使应用系统从繁杂的分布式事务处理逻辑中解脱出来,专心于业务逻辑;同时,也能够保障对多个数据库的分布式访问读写操作的正确性,有效提高对多数据库进行分布式事务操作的利用率。
-
-
-
-
-
-
-
-
-