一种分布式数据库系统数据的加载方法及装置

    公开(公告)号:CN106383846A

    公开(公告)日:2017-02-08

    申请号:CN201610777795.6

    申请日:2016-08-31

    CPC classification number: G06F16/254

    Abstract: 本发明提供一种分布式数据库系统数据的加载方法及装置,其中,所述分发方法包括:管理节点接收用户加载数据的指令,所述指令包括加载参数;管理节点根据所述指令确定加载的数据量,并确定加载数据的节点数量;根据加载的数据量和所述加载数据的节点数量对加载数据进行分配,并将分配指令下发给运算节点,以使得运算节点根据所述分配指令。完成数据的加载。可以将加载任务发送至计算节点,以使得计算节点加载数据。解决了文件服务器成为加载瓶颈的问题。

    一种分布式数据库系统权限管理方法及装置

    公开(公告)号:CN106330934A

    公开(公告)日:2017-01-11

    申请号:CN201610777662.9

    申请日:2016-08-31

    CPC classification number: H04L63/0442 G06F16/10 H04L63/10

    Abstract: 本发明提供一种分布式数据库系统权限管理方法及装置,其中所述方法包括:在用户修改分布式数据库时,对用户的访问控制权限进行检查;在用户具有访问控制权限时,获取用户的读写权限;在所述读写权限通过验证时,接收用户写入的数据。通过属性加密技术将访问控制和存储加密完美结合,实由数据拥有者定义访问权限,只有具备访问权限的用户才能获取密钥,解密密文数据进行访问,从而避免管理员权限过大、恶意攻击等带来的危害。属性加密机制可被看作广播加密的一种变形,能够使一个密文被满足条件的多个不同用户密钥所解密,也能够使一个用户密钥解密多个不同的密文。满足大数据环境在细粒度访问控制和加密安全通讯方面的安全需求。

    一种支持多hashmap数据库集群系统不停机的扩容方法

    公开(公告)号:CN104484469A

    公开(公告)日:2015-04-01

    申请号:CN201410847870.2

    申请日:2014-12-31

    CPC classification number: G06F17/303 G06F17/3033

    Abstract: 本发明创造提供一种支持多hash map数据库集群系统不停机的扩容方法,包括以下步骤:S1.集群中的原表都绑定到现有的hash map上,现有的hash map命名为old hash map;S2.进行集群扩容时,执行产生新hash map的命令,集群产生新的hash map,并把该hash map设定为current hash map;S3.集群扩容后新创建的表自动绑定到current hash map上;S4.对原表和新表的任何操作将以current hash map为当前操作的hash map,基于old hash map的老表的原有的hash特性将丢失,需要按照current hash map进行数据动态重分布后参与和新表的运算。S5.迁移部分数据到新节点上,迁移完成后该表即可绑定到current hash map上。这种设计性能不衰减,数据过渡自然。

    一种分布式数据库集群数据的分布方法及装置

    公开(公告)号:CN106776001A

    公开(公告)日:2017-05-31

    申请号:CN201611029645.3

    申请日:2016-11-14

    Abstract: 本发明提供了一种分布式数据库集群数据的分布方法及装置,其中,所述方法包括:在集群节点安装时,获取所述节点的硬件信息;配置所述集群的哈希地图Hash Map,并根据所述节点的硬件信息为每个节点分配哈希桶。可灵活的调整节点哈希桶的数量,能够保证高硬件资源的节点分配更多的数据,避免了节点运算的木桶效应。

    数据分组聚合数据分布的选择方法及装置

    公开(公告)号:CN106339480A

    公开(公告)日:2017-01-18

    申请号:CN201610777672.2

    申请日:2016-08-31

    Abstract: 本发明提供了数据分组聚合数据分布的选择方法及装置,所述方法包括;判断数据分组字段是否为hash分布列,如果为hash分布列,则直接下发至计算节点执行数据连接;如果不为hash分布列,则根据操作时间结果选择数据分布方式。通过对不同的配置的操作时间进行比较,从中选取最优配置方法,实现数据分组聚合操作的性能最优。

    一种节点支持多数据分片的分布式集群的扩容和缩容方法

    公开(公告)号:CN104615657A

    公开(公告)日:2015-05-13

    申请号:CN201410854728.0

    申请日:2014-12-31

    Abstract: 本发明创造提供一种节点支持多数据分片的分布式集群的扩容和缩容方法,包括以下步骤:S1.规划集群总的数据分片数以及各个数据分片和物理节点间的对应关系,这种对应关系简称为集群distribution;S2.根据集群配置的distribution把数据分布到对应的物理节点上;S3.根据集群总的数据分片数和集群改变后的所有物理节点,重新建立新的集群distribution;S4.按照集群新的distribution,部分数据分片迁移到新的物理节点上;S5.当所有需要迁移的数据分片的数据搬移完成后,切换集群原有的distribution到新的集群distribution,集群按照该新的distribution对外提供服务。本设计不需要对所有数据进行hash计算;按照数据分片来重分布数据,扩容性能得到提升;迁移完的数据分片直接删除即可,数据空间可以完全释放。

    一种支持多hash map数据库集群系统不停机的扩容方法

    公开(公告)号:CN104484469B

    公开(公告)日:2017-12-15

    申请号:CN201410847870.2

    申请日:2014-12-31

    Abstract: 本发明创造提供一种支持多hash map数据库集群系统不停机的扩容方法,包括以下步骤:S1.集群中的原表都绑定到现有的hash map上,现有的hash map命名为old hash map;S2.进行集群扩容时,执行产生新hash map的命令,集群产生新的hash map,并把该hash map设定为current hash map;S3.集群扩容后新创建的表自动绑定到current hash map上;S4.对原表和新表的任何操作将以current hash map为当前操作的hash map,基于old hash map的老表的原有的hash特性将丢失,需要按照current hash map进行数据动态重分布后参与和新表的运算。S5.迁移部分数据到新节点上,迁移完成后该表即可绑定到current hash map上。这种设计性能不衰减,数据过渡自然。

    分布式数据库系统中虚拟集群创建、管理方法及装置

    公开(公告)号:CN106354548A

    公开(公告)日:2017-01-25

    申请号:CN201610777613.5

    申请日:2016-08-31

    Abstract: 本发明提供了一种分布式数据库系统中虚拟集群创建、管理方法及装置,其中,所述方法包括:获取系统中所有计算节点信息;从系统中选取组成虚拟集群的计算节点;配置所述虚拟集群节点的主分片和副本分片的部署关系;将所述部署关系和所述集群的元数据存储在所述虚拟集群的管理节点系统表。可以根据业务系统将物理集群规划为虚拟集群,无需维护多套系统,有效降低部署和维护成本。

    一种分布式数据库中节点的替换方法及装置

    公开(公告)号:CN106331132A

    公开(公告)日:2017-01-11

    申请号:CN201610777664.8

    申请日:2016-08-31

    CPC classification number: H04L67/1023 H04L67/1008

    Abstract: 本发明提供了一种分布式数据库中节点的替换方法及装置,其中,所述方法包括:将原节点设置为不可用状态;将新节点设置为与原节点相同的IP地址;接收节点替换命令,根据命令中的IP地址判断替换的节点类型;根据所述节点类型对节点进行替换。通过在替换过程中设置相同的IP地址替换节点,并根据节点类型进行节点的替换,在此期间集群仍然可以对外提供正常的服务,不需要中断。

Patent Agency Ranking