非日志模式的数据库集群副本构建方法及装置

    公开(公告)号:CN109918229B

    公开(公告)日:2021-03-30

    申请号:CN201910119274.5

    申请日:2019-02-18

    Abstract: 本发明公开了一种非日志模式的数据库集群副本构建方法及装置,方法包括:加载工具直连第一个副本,进行数据实时入库加载,并以事务为单位构建同步记录;复制流程调度器加载元数据,检查节点状态,构造多个副本的拓扑关系,启动各个节点上的复制执行器,将构建的拓扑信息携带在复制处理消息中通过消息总线发送给复制执行器;复制执行器从消息总线获取复制处理消息,解析拓扑信息,查找到数据源,通过自身副本的全局唯一GID标识以及数据源的同步记录跟踪表,检查增量数据,如果没有,则循环等待,否则执行下步;复制执行器计算增量数据的同步范围信息,读取给定范围的数据,加载至本身节点上的副本,并构造本次数据复制的同步记录,执行步骤3。

    一种识别网络图中关键节点的分布式方法

    公开(公告)号:CN106649893B

    公开(公告)日:2020-10-20

    申请号:CN201510706040.2

    申请日:2015-10-27

    Abstract: 本发明涉及一种识别网络图中关键节点的分布式方法,包括:采用点切分方式将网络图切分到n台机器上;选择工作节点,分别对所述工作节点的消息和所述工作节点的后继节点的消息进行初始化;更新所述工作节点的后继节点的消息;确定所述工作节点的后继节点的单点依赖;根据网络图中节点的单点依赖确定节点的桥接中心度,本发明采用Graphlab框架来实现,不仅支持基于消息的编程模型,而且支持共享内存风格的“收集‑更新‑扩散”模型,能够获得更快的运行速度,并且随着集群规模的扩大,可以支持在更大规模的图中计算关键节点。

    动态可编程的主机监控系统

    公开(公告)号:CN109901971A

    公开(公告)日:2019-06-18

    申请号:CN201910119272.6

    申请日:2019-02-18

    Abstract: 本发明公开了一种动态可编程的主机监控系统,所述方法包括:可编程服务组件,安装于主节点,用于在监控系统运行过程中动态根据用户操作将主机进行分组;并在完成主机分组后,动态地指定该组内主机需要监控的指标;将主机分组信息和监控指标信息发送到代理组件,启动监控组件,监控主机的运行状态;代理组件,安装于被监控的主机上,用于根据所述分组信息和所述监控指标信息,定期收集主机的相应指标数据,并将所述指标数据发送至可编程服务组件。

    无共享数据库集群异地双活容灾系统

    公开(公告)号:CN109901948A

    公开(公告)日:2019-06-18

    申请号:CN201910119253.3

    申请日:2019-02-18

    Abstract: 本发明公开了一种无共享数据库集群异地双活容灾系统,所述系统包括:任务调度器,位于MPP集群Server服务器端,用于对于主、备集群分别执行不同的调度任务;任务执行器,位于MPP集群的NodeAgent节点代理端,为MPP集群节点代理层的执行线程,用于接收任务调度器分配的调度任务并执行;消息总线模块,用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能;DNS代理服务模块,用于主、备MPP集群对外提供服务的接口,并通过更新实现集群主、备之间的自动切换。

    基于kubernetes的hdfs-hbase部署方法及装置

    公开(公告)号:CN109885316A

    公开(公告)日:2019-06-14

    申请号:CN201910119277.9

    申请日:2019-02-18

    Abstract: 本发明公开了一种基于kubernetes的hdfs-HBase部署方法,所述方法包括:计算层通过kubernetes模块获取服务器信息,打包基础镜像,并在所述镜像仓库中保存Hbase基础配置;在用户创建Hbase应用时,计算层通过管理页面获取用户输入的需求信息,修改Hbase基础配置,遴选服务器并打标签,并根据本次Hbase部署的需求信息,生成yaml文件,并调用所述kubernetes模块;所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群,并将所述Hbase集群添加到巡检队列中;所述巡检系统对所述巡检队列进行轮询。

    一种老化感知的任务调度系统

    公开(公告)号:CN104965763B

    公开(公告)日:2019-03-15

    申请号:CN201510432304.X

    申请日:2015-07-21

    Abstract: 本发明提供一种老化感知的任务调度系统,所述任务调度系统包括老化探测模块、软件再生模块、任务调度模块、调度策略模块和资源信息库模块;所述老化探测模块与资源信息库模块双向连接,所述资源信息库模块与软件再生模块和任务调度模块均单向连接,所述调度策略模块与任务调度模块单向连接。本发明提供一种老化感知的任务调度系统,在任务调度和运行时,能够实时感知资源节点的老化状态,及时恢复资源节点的服务能力,提高了任务执行效率。

    一种数据检索方法和装置
    49.
    发明公开

    公开(公告)号:CN108536727A

    公开(公告)日:2018-09-14

    申请号:CN201810158888.X

    申请日:2018-02-24

    Abstract: 本发明公开了一种数据检索方法和装置。根据请求数据检索的结构化查询语言SQL语句生成执行计划;判断所述执行计划是否满足流式结果返回条件;如果满足流式结果返回条件,则在执行所述执行计划的过程中,逐个获取检索结果并逐个提供给用户,直至所有检索结果获取完毕并提供给用户为止。本发明在数据检索过程中,逐个获取检索结果,并且一边获取检索结果一边提供给用户使用,有效降低了使用SparkSQL进行数据检索时的结果返回响应时间和检索总消耗时间,提升了SparkSQL框架进行数据检索时的效率和可用性,并且通过流式返回方式,解决了SparkSQL在进行大结果集检索时可能出现的内存问题,使SparkSQL框架进行大结果集检索成为可能。

Patent Agency Ranking