一种适用于分布式数据库的数据分发方法及装置

    公开(公告)号:CN106372163A

    公开(公告)日:2017-02-01

    申请号:CN201610777842.7

    申请日:2016-08-31

    Abstract: 本发明提供了一种适用于分布式数据库的数据分发方法及装置,其中,所述方法包括:存在数据分发任务时,对所述数据按照最小存储单位进行拆分;计算拆分的最小存储单位数据的分布目标,并根据所述分布目标向节点分发数据。通过对所述数据按照最小存储单位进行拆分;计算拆分的数据的分布目标,向所述分布目标分发数据。由于将物化继续推迟,保持整个数据计算过程尽可能的不物化或少物化数据,降低磁盘I/O。直到最后按照分布规则拆分时才将数据进行物化。减少了预算工作量和系统负担。

    一种切分数据块的加载方法及装置

    公开(公告)号:CN106354831A

    公开(公告)日:2017-01-25

    申请号:CN201610777791.8

    申请日:2016-08-31

    Abstract: 本发明提供了一种切分数据块的加载方法及装置,其中,所述方法包括:判断接收的数据块偏移地址是否等于0,如果等于0,则读取URL中指定的数据;如果大于0,则从偏移地址前第一个换行符至偏移地址后预设空间范围内查找换行符;如果查找到换行符,则丢弃所述换行符前的数据;否则丢弃偏移地址后预设空间范围内所有数据。以使得加载节点可以根据自身的数据块确定数据内容,实现并行数据加载。可以实现各加载节点间的负载均衡和提高总体加载速度。

    一种分布式数据库系统权限管理方法及装置

    公开(公告)号:CN106330934A

    公开(公告)日:2017-01-11

    申请号:CN201610777662.9

    申请日:2016-08-31

    CPC classification number: H04L63/0442 G06F16/10 H04L63/10

    Abstract: 本发明提供一种分布式数据库系统权限管理方法及装置,其中所述方法包括:在用户修改分布式数据库时,对用户的访问控制权限进行检查;在用户具有访问控制权限时,获取用户的读写权限;在所述读写权限通过验证时,接收用户写入的数据。通过属性加密技术将访问控制和存储加密完美结合,实由数据拥有者定义访问权限,只有具备访问权限的用户才能获取密钥,解密密文数据进行访问,从而避免管理员权限过大、恶意攻击等带来的危害。属性加密机制可被看作广播加密的一种变形,能够使一个密文被满足条件的多个不同用户密钥所解密,也能够使一个用户密钥解密多个不同的密文。满足大数据环境在细粒度访问控制和加密安全通讯方面的安全需求。

    异常节点动态追踪集群节点状态的监测方法

    公开(公告)号:CN105553766A

    公开(公告)日:2016-05-04

    申请号:CN201510927404.X

    申请日:2015-12-12

    CPC classification number: H04L43/103

    Abstract: 本发明公开了一种异常节点动态追踪集群节点状态的监测方法,包括集群节点状态服务模块、集群节点模块、集群异常节点检测模块、集群异常节点队列模块,具体方法步骤为:A、集群节点模块向集群节点状态服务模块发送节点汇报,并自检是否有离线异常;B、集群异常节点检测模块对集群节点模块进行异常节点检测,并将此异常节点向集群异常节点队列模块传送;C、集群异常节点队列模块按先后顺序向集群节点状态服务模块发送队列中异常节点,并调节用长异常判断;D、集群节点状态服务模块接收集群异常节点队列模块的异常判断完成对集群节点状态的监测。本发明节省了监测的成本且提高了监测的灵敏度,保证了监测服务的稳定性,适用性好,实用性强。

    大规模集群下各节点日志的抓取和展示系统

    公开(公告)号:CN105553716A

    公开(公告)日:2016-05-04

    申请号:CN201510928876.7

    申请日:2015-12-12

    CPC classification number: H04L41/069 G06F16/1815

    Abstract: 本发明公开了一种大规模集群下各节点日志的抓取和展示系统,包括各节点服务端和节点客户端,节点客户端包括节点读取模块,节点信息解析模块,参数输入模块,节点组装模块,节点信息接收模块和节点统计模块;各节点服务端包括监听节点客户端的监听模块,用于接收节点客户端连接请求的请求信号接收模块,接收日志查询请求的日志信号接收模块,解析出查询请求中包含参数的参数解析模块,根据参数信息对日志进行查找过滤的查找过滤模块和将查询到符合要求日志返回节点客户端的查询日志信息回传模块。本发明解决了大规模集群系统下,各节点日志难以查看的问题,使用更加方便快捷且实用性更强。

    一种集群一致性服务高并发下持久化的优化方法

    公开(公告)号:CN105550319A

    公开(公告)日:2016-05-04

    申请号:CN201510931307.8

    申请日:2015-12-12

    CPC classification number: G06F16/2386 G06F16/2315

    Abstract: 本发明公开了一种集群一致性服务高并发下持久化的优化方法,主要涉及分布式计算领域。包括:在节点处采用单独的持久化线程,用于实现持久化并回复客户端;持久化线程的辅助队列,辅助队列中包含了所有要持久化的数据和回应客户端所需要的链接及返回结果;在节点处采用一致性协议实现线程,用于将更新后的一致性信息和回应客户端的函数指针放入持久化线程的辅助队列的尾部,并向持久化线程发送持久化消息。本发明的有益效果在于:它能够及时实现持久化,能够保证集群一致性服务程序的响应速度,能够避免并发性下降及集群分裂,能够保证集群运行效率。

    对等部署的分布式数据库资源管理与负载调节方法

    公开(公告)号:CN105550038A

    公开(公告)日:2016-05-04

    申请号:CN201510926030.X

    申请日:2015-12-12

    CPC classification number: G06F9/5027 G06F2209/5021

    Abstract: 本发明公开了一种对等部署的分布式数据库资源管理与负载调节方法,包括用于管理对等部署分布式数据库的系统资源分配与使用模块,以工作机构资源配置为标准划分的不同资源组模块,用户用执行SQL会继承用户所属资源组设置的资源使用配置模块,用于根据工作机器负载情况进行资源组升级调整的资源配置配对升降级模块和不受资源组所配资源限制的超级用户使用模块。本发明的系统简单,可有效的解决分布式数据库中的统一资源管理问题和负载调节问题,以保证系统的资源得到高效的应用,从而对负载进行调节,保护调负载的机器充分利用机器,使用稳定性好,适用性强,实用性好。

    一种基于数据库自动化并行测试平台执行方法

    公开(公告)号:CN105512038A

    公开(公告)日:2016-04-20

    申请号:CN201510932828.5

    申请日:2015-12-12

    CPC classification number: G06F11/3688

    Abstract: 本发明公开了一种基于数据库自动化并行测试平台执行方法,其特征在于:测试调度器将测试任务进行统一调度分配,在服务器内部署代理程序,代理程序并行数创建多实例级连接,调用多测试流并行执行,并将结果信息反馈至测试调度器。本发明的有益效果在于:测试调度器将测试任务进行统一调度分配,有效利用系统资源,将传统串行执行用例方式改为调用多测试流并行执行,测试流间使用不同的实例进行用例执行,互不干扰,效缩短自动化测试时间,提高环境资源的使用率。

Patent Agency Ranking