-
公开(公告)号：CN104572895A
公开(公告)日：2015-04-29
申请号：CN201410820059.5
申请日：2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 本发明提供一种MPP数据库与Hadoop集群数据互通方法、工具及实现方法，包括利用数据互通工具直接进行MPP数据库与Hadoop集群之间数据的互通的方法以及通过TXT中转进行数据互通的方法，数据由MPP数据库直接导出(导入)至Hadoop集群，无需通过MPP数据库与Hadoop集群之外的存储单元中转，从而使得导出过程更加高效，如需Hadoop集群进行数据的二次处理，可选择TXT格式中转方式。本发明能够解决MPP数据库和Hadoop业务间数据无法互通的问题，实现MPP数据库和Hadoop两种业务平台的混搭。
-
公开(公告)号：CN104410698A
公开(公告)日：2015-03-11
申请号：CN201410727702.X
申请日：2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: H04L67/10 , H04L41/0668
Abstract: 本发明提供一种share nothing集群下的发起节点异常处理方法及装置，所述方法包括：集群中发起节点接收到数据请求任务后，先将其他节点设置为此数据请求任务的接管节点，接管节点向集群管理软件提交注册信息完成信息记录，发起节点继续执行任务；若执行过程无异常，发起节点完成任务并将集群管理软件设置为任务结束并清理资源；若执行过程出现异常，集群管理软件选择一个接管节点继续执行任务，接管节点完成任务之后将集群管理软件设置为任务结束并清理资源；如果任务已不可继续执行，则进行任务的异常处理，进行恢复。本发明能够解决数据库系统在执行任务中并行任务管理软件发生异常时造成集群数据不一致问题，提高了系统的稳定性。
-
Patent Agency Ranking
公开(公告)号：CN104410698B
公开(公告)日：2019-03-08
申请号：CN201410727702.X
申请日：2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种share nothing集群下的发起节点异常处理方法及装置，所述方法包括：集群中发起节点接收到数据请求任务后，先将其他节点设置为此数据请求任务的接管节点，接管节点向集群管理软件提交注册信息完成信息记录，发起节点继续执行任务；若执行过程无异常，发起节点完成任务并将集群管理软件设置为任务结束并清理资源；若执行过程出现异常，集群管理软件选择一个接管节点继续执行任务，接管节点完成任务之后将集群管理软件设置为任务结束并清理资源；如果任务已不可继续执行，则进行任务的异常处理，进行恢复。本发明能够解决数据库系统在执行任务中并行任务管理软件发生异常时造成集群数据不一致问题，提高了系统的稳定性。
-
公开(公告)号：CN104572895B
公开(公告)日：2018-02-23
申请号：CN201410820059.5
申请日：2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种MPP数据库与Hadoop集群数据互通方法、工具及实现方法，包括利用数据互通工具直接进行MPP数据库与Hadoop集群之间数据的互通的方法以及通过TXT中转进行数据互通的方法，数据由MPP数据库直接导出(导入)至Hadoop集群，无需通过MPP数据库与Hadoop集群之外的存储单元中转，从而使得导出过程更加高效，如需Hadoop集群进行数据的二次处理，可选择TXT格式中转方式。本发明能够解决MPP数据库和Hadoop业务间数据无法互通的问题，实现MPP数据库和Hadoop两种业务平台的混搭。
-
公开(公告)号：CN104375906B
公开(公告)日：2017-06-13
申请号：CN201410664300.X
申请日：2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种基于文件系统的大规模备份数据快速校验方法：包括：备份索引文件；所述备份索引文件包括实际备份数据的文件夹和文件块；所述文件夹包括文件夹的路径；所述文件块包括文件块所在文件的路径、起始偏移、文件块大小和校验值。本发明的有益效果为：以文件块为最小备份单位，无需关注整个文件的校验值；这种备份数据的组织形式，有利于使用多核CPU资源进行并行校验；校验数据时，除校验所有文件块以外，仅需校验文件大小的总和以及文件夹的存在情况，即可确保备份数据严格正确，避免了大规模的归并运算。
-
公开(公告)号：CN104376088A
公开(公告)日：2015-02-25
申请号：CN201410665568.5
申请日：2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30371
Abstract: 本发明提供一种云数据库的分布式同步方法，包括：在数据库中的每个节点启动数据同步的服务；扫描各个节点的操作日志；将有问题的日志放到恢复队列中；恢复线程会从恢复队列中将问题日志取出，分析数据错误的库名称、表名称、表ID等；寻找相对应表的备份所在的节点；调用同步工具，将正确节点的数据发送到错误节点中；错误节点在接收到同步数据包后，将这些数据保存到自己的硬盘上，从而实现了各个节点间数据的一致性；数据同步的操作完成后，删除有问题的日志。本发明的有益效果是：能及时地发现节点中的错误数据；并且能够自动地进行数据同步的操作，极大地减少了人为操作出错的可能性，增强了云数据库的安全性和可用性。
-
公开(公告)号：CN104375906A
公开(公告)日：2015-02-25
申请号：CN201410664300.X
申请日：2014-11-19
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供了一种基于文件系统的大规模备份数据快速校验方法：包括：备份索引文件；所述备份索引文件包括实际备份数据的文件夹和文件块；所述文件夹包括文件夹的路径；所述文件块包括文件块所在文件的路径、起始偏移、文件块大小和校验值。本发明的有益效果为：以文件块为最小备份单位，无需关注整个文件的校验值；这种备份数据的组织形式，有利于使用多核CPU资源进行并行校验；校验数据时，除校验所有文件块以外，仅需校验文件大小的总和以及文件夹的存在情况，即可确保备份数据严格正确，避免了大规模的归并运算。
-
-
-
-
-
-
Search Results
7
records
(took 0.042 seconds)
