-
公开(公告)号:CN112612854A
公开(公告)日:2021-04-06
申请号:CN202011607550.1
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明创造提供了一种集群数据库在断电或宕机时保证数据一致性的方法,包括以下步骤:S1、集群Coordinator接收用户的DML操作;S2、向一致性服务gcware注册Failover信息;S3、向计算单元发送DML任务;S4、计算单元处理过程中Coordinator宕机;S5、触发Failover;S6、进行一致性服务;S7、选择新的coordinator接管;S8、判断各计算单元状态;S9、回滚目标表数据;S10、释放目标表排它锁。本发明创造有益效果:一种集群数据库在断电或宕机时保证数据一致性的方法在意外发生时保证了数据库的数据正确,保持了目标表数据在各计算单元的数据一致,避免出现严重的数据问题。
-
公开(公告)号:CN106355250B
公开(公告)日:2019-04-30
申请号:CN201610777841.2
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06N3/08
Abstract: 本发明提出了一种基于神经网络的判断隐蔽信道的优化方法及装置,该方法包括:建立BP神经网络模型;利用预设隐蔽信道集合对所述BP神经网络模型进行学习训练,训练得到最优权重参数,其中,所述预设隐蔽信道集合包括:伪隐蔽信道和真实隐蔽信道;将训练得到的最优权重参数添加到所述BP神经网络模型,以得到更新后的BP神经网络模型;利用更新后的BP神经网络模型对实际的包括伪隐蔽信道的隐蔽信道集合进行判断,以查找出真实隐蔽信道。本发明基于BP神经网络的反馈式学习方式,在可疑隐蔽信道的集合中找出真实隐蔽信道和伪隐蔽信道。
-
公开(公告)号:CN105530299B
公开(公告)日:2019-04-23
申请号:CN201510925954.8
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: H04L29/08 , G06F16/22 , G06F16/953 , G06F16/11
Abstract: 本发明公开了一种目录服务日志的实现方法,包括配置信息存储模块、配置日志记录模块、信息摘要值分析模块、操作执行模块和配置日志分类模块,方法包括以下步骤:步骤A、读取配置信息存储模块内配置信息;步骤B、所述操作执行模块接收操作请求,并记录操作时间、获取操作主体;步骤C,所述信息摘要值分析模块接收并根据操作执行模块的执行操作类型计算摘要值且进行目录记录;步骤D、所述配置日志分类模块将信息分类发送给配置日志记录模块;步骤E、所述配置日志记录模块接收信息,并按照操作记录类型和记录级别进行分类记录和存储。本发明设计合理,方便监管人员掌握相关动态,确保目录服务运行的安全和稳定,适用性好,实用性强。
-
公开(公告)号:CN108268611A
公开(公告)日:2018-07-10
申请号:CN201711473670.5
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种基于MapReduce的k-means文本聚类的方法及装置。包括,删除离群点,最大距离法选取初始簇中心,构造迭代中的簇中心计算公式和测度函数,设计基于MapReduce框架的大规模文本并行聚类模型。采用本发明的方法,可以有效解决传统K-means聚类算法中的局部最优、迭代次数过多、聚类结果不稳定的问题,提高算法的并行能力和可扩展性。
-
公开(公告)号:CN106446029A
公开(公告)日:2017-02-22
申请号:CN201610777615.4
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/258 , G06F16/248
Abstract: 本发明提供一种可配置数据转换中间件,包括数据库配置模块、输入配置模块、输出配置模块和中间件核心模块,所述的数据库配置模块、输入配置模块、输出配置模块作为中间件核心模块的输入数据流,中间件核心模块将接收的数据信息进行处理后得到图表格式文件,其中:数据库配置模块用于配置数据库的连接信息和用户名密码信息;输入配置模块包含要查询的sql语句及返回的结果集定义;所述的输出配置模块包含需要输出的内容,使用相应的lib库和定义可视化的规则。本发明的有益效果是通过数据转换中间件,任何需要进行数据转换的需求,不在需要经历漫长的研发过程,随时可以通过配置来改变转换数据的格式,通过可视化的方式,快速挖掘数据中蕴含的价值。
-
公开(公告)号:CN106407309A
公开(公告)日:2017-02-15
申请号:CN201610777843.1
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明涉及一种支持多种数据源的集群数据库数据加载工具及方法。其目的是为了提供一种认证快捷、认证方式多样的集群数据库数据加载工具及方。本发明包括加载工具使用接口、加载任务管理模块、加载任务执行模块、读数据模块、数据源访问模块、写数据模块和数据库访问模块。加载工具使用接口用于启动加载任务,并将各个任务的参数传递给加载任务管理模块;加载任务管理模块用于保存、维护和调度所有接收到的加载任务;加载任务执行模块用于负责具体加载任务的执行;读数据模块用于提供统一的读取数据接口;数据源访问模块用于从具体的数据源上读取数据;写数据模块用于提供统一的写数据接口;数据库访问模块用于将接收到的数据加载进集群数据库。
-
公开(公告)号:CN105447121A
公开(公告)日:2016-03-30
申请号:CN201510785757.0
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/25
Abstract: 本发明提供一种数据库集群重建连接高可用的方法,包括:应用系统通过数据库集群中的一个集群节点与数据库集群建立连接,向数据库集群发送业务请求;数据库集群在会话保持实体中记录应用系统的业务请求;如果应用系统连接的集群节点停止服务,应用系统与集群节点间的连接中断;应用系统重新向数据库集群建立连接;数据库集群通过会话保持实体获取到该应用系统连接中断之前的业务请求,将其关联到应用系统当前的连接,本次重建连接完成。本发明提高了数据库集群高可用性,保证应用系统的业务连续性。
-
公开(公告)号:CN105426466A
公开(公告)日:2016-03-23
申请号:CN201510782763.0
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/22 , G06F16/24545
Abstract: 本发明旨在提供一种在列存数据库中使用布隆过滤器快速精确查询数据的方法。包括,在列存数据库的精确查询数据操作中使用数据包级的布隆过滤器对数据包进行筛选。布隆过滤器可以有效减少精确查询数据操作过程中对磁盘和文件系统的I/O访问,加快精确查询数据操作的速度。
-
公开(公告)号:CN105389371A
公开(公告)日:2016-03-09
申请号:CN201510786229.7
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种数据库集群建立连接高可用的方法和系统,包括:应用系统调用数据库接口驱动,向数据库集群发起建立连接请求;根据建立连接请求,数据库接口驱动获取数据库集群中一个集群节点的IP地址,并向该IP地址发起建立连接请求;如果建立连接成功,则本次应用系统和数据库集群的建立连接完成;如果建立连接不成功,则数据库接口驱动获取数据库集群中另一个集群节点的IP地址,并向该IP地址发起建立连接请求。本发明能够解决数据库集群中有集群节点不提供服务的情况下应用系统仍然可以通过其他集群节点访问集群的问题,确保数据库集群的高可用性。
-
公开(公告)号:CN105389368A
公开(公告)日:2016-03-09
申请号:CN201510778860.2
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/273
Abstract: 本发明提供一种MPP架构数据库集群元数据管理方法,通过在数据库集群中增加内存数据库,实现集群元数据的统一管理。采用本发明中的方法,可以保证数据库集群中集群元数据的一致性,以及实现快速写入及读取集群元数据,解决集群失效节点重新加入集群时集群元数据不一致问题,进而提高数据库集群的高可用性。
-
-
-
-
-
-
-
-
-