-
公开(公告)号:CN106446030B
公开(公告)日:2019-11-22
申请号:CN201610777713.8
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2458 , G06F16/28
Abstract: 本发明涉及一种支持带有伪列的分级查询集群数据库系统及分级查询方法。其目的是为了提供一种分级查询快捷、耗时短的分级查询系统及分级查询方法。本发明包括数据表查询器,分级查询模块分别对起点过滤模块、待处理结点列表模块、查询路径模块和子结点查询模块的工作状态进行控制。分级查询模块通过控制起点过滤模块、待处理结点列表模块、查询路径模块和子结点查询模块,完成对数据表的分级查询操作;起点过滤模块用于在数据表上查询时查询起点的结点;待处理结点列表模块用于保存还没有进行查询的子结点的结点;查询路径模块用于保存查询的整个过程;子结点查询模块用于对指定的父结点进行其子结点的查询,并在查询结束后生成相应的伪列。
-
公开(公告)号:CN106250783B
公开(公告)日:2019-10-18
申请号:CN201610777696.8
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
Abstract: 本发明提供了一种数据库数据加密、解密方法及装置,其中,所述加密方法包括:将数据以数据块进行缓存;将数据块进行压缩;对压缩后的数据块进行加密。由于加密是在数据库内核实现的,无需显示调用加密函数,也可使用数据库提供的加载工具进行批量加载,提高了数据库的性能。
-
公开(公告)号:CN105550319B
公开(公告)日:2019-06-25
申请号:CN201510931307.8
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/23
Abstract: 本发明公开了一种集群一致性服务高并发下持久化的优化方法,主要涉及分布式计算领域。包括:在节点处采用单独的持久化线程,用于实现持久化并回复客户端;持久化线程的辅助队列,辅助队列中包含了所有要持久化的数据和回应客户端所需要的链接及返回结果;在节点处采用一致性协议实现线程,用于将更新后的一致性信息和回应客户端的函数指针放入持久化线程的辅助队列的尾部,并向持久化线程发送持久化消息。本发明的有益效果在于:它能够及时实现持久化,能够保证集群一致性服务程序的响应速度,能够避免并发性下降及集群分裂,能够保证集群运行效率。
-
公开(公告)号:CN106354585B
公开(公告)日:2019-04-30
申请号:CN201610777563.0
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
Abstract: 本发明提供一种数据库集群多数据分片备份的部署方法及装置,所述方法包括:获取数据库集群中的节点数量;获取数据库集群中每个节点对应的数据分片数量;按照预设的规则配置备份分片;算所述配置备份分片的可靠性,选取最优可靠性作为部署方法。通过预定的规则配置多种备份分片的部署方式,并选取其中可靠性最高的配置方式作为部署方式,可进行最优可靠性部署,并大程度保障集群的可靠性。
-
公开(公告)号:CN105511885B
公开(公告)日:2019-03-08
申请号:CN201510933002.0
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了在商业智能中利用JSON描述基础二维表数据并应用于数据可视化的一种方法,包括:对用户二维表形式的原始业务数据列进行JSON化描述,在商业智能的数据可视化中提供高度灵活、可扩展的数据列描述定义;此数据结构在商业智能中将用于创建复杂查询,同时结合查询结果最终组织成供各种数据可视化组件使用的数据描述。本发明能够使商业智能可视化工具的使用者及开发者对可视化选项的设置更加直接,避免关注复杂的中间过程,专注于具体的可视化任务实现。
-
公开(公告)号:CN104410698B
公开(公告)日:2019-03-08
申请号:CN201410727702.X
申请日:2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种share nothing集群下的发起节点异常处理方法及装置,所述方法包括:集群中发起节点接收到数据请求任务后,先将其他节点设置为此数据请求任务的接管节点,接管节点向集群管理软件提交注册信息完成信息记录,发起节点继续执行任务;若执行过程无异常,发起节点完成任务并将集群管理软件设置为任务结束并清理资源;若执行过程出现异常,集群管理软件选择一个接管节点继续执行任务,接管节点完成任务之后将集群管理软件设置为任务结束并清理资源;如果任务已不可继续执行,则进行任务的异常处理,进行恢复。本发明能够解决数据库系统在执行任务中并行任务管理软件发生异常时造成集群数据不一致问题,提高了系统的稳定性。
-
公开(公告)号:CN105354319B
公开(公告)日:2019-01-25
申请号:CN201510782764.5
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/25
Abstract: 本发明实施例提供一种针对SN架构的MPP数据库集群的数据库连接池管理方法及系统,其中,所述方法包括:根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池,生成缓存分区;根据应用程序所发起的连接数据请求,选取提供可用连接的缓存分区供所述应用程序连接;使所述缓存分区借出一个连接,并维护缓存分区的状态。本发明实施例能够针对SN架构的MPP数据库集群对数据库连接池进行有效管理,可以通过实现标准接口与现有应用无缝迁移,且相比传统数据库连接池性能有大幅提升,实现创建连接时的负载均衡,且能够自定义负载均衡策略。并高效解决基于SN架构大规模集群节点失效场景下,连接池释放失效连接问题。
-
公开(公告)号:CN105279279B
公开(公告)日:2019-01-25
申请号:CN201510785760.2
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/172
Abstract: 本发明提供了一种从低速数据源加载压缩数据文件的方法,所述方法包括:接收客户端发送的控制文件;解析所述控制文件,获取控制文件中的数据来源和数据类型;判断控制文件中是否包括低速数据源的压缩数据文件;在控制文件中包括低速数据源的压缩数据文件时,读取并缓存所述低速数据源的压缩数据文件。实现了在读取压缩格式数据文件时预读数据,并放入缓存,从而在连续的若干次读取数据的操作中,只需在第一次操作中真正从数据源读取文件内容,显著减少了对低速数据源的I/O次数,用高速的内存操作加以替代,极大地提升了性能。
-
公开(公告)号:CN108256003A
公开(公告)日:2018-07-06
申请号:CN201711497512.3
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种根据分析数据重复率提高union运算效率的方法,首先分析了集合的数据特征,然后对符合某些特征的集合进行优化,从而大幅缩短运算时间。这里的数据特征是指数据有较多的重复值。分析数据特征时采用抽样方式来分析重复率,对符合特征值的集合先对union两端的数据分别进行去重操作,然后再进行union运算,这样大大降低了union操作的时间和磁盘IO时间,从而降低总查询时间。
-
公开(公告)号:CN104572895B
公开(公告)日:2018-02-23
申请号:CN201410820059.5
申请日:2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种MPP数据库与Hadoop集群数据互通方法、工具及实现方法,包括利用数据互通工具直接进行MPP数据库与Hadoop集群之间数据的互通的方法以及通过TXT中转进行数据互通的方法,数据由MPP数据库直接导出(导入)至Hadoop集群,无需通过MPP数据库与Hadoop集群之外的存储单元中转,从而使得导出过程更加高效,如需Hadoop集群进行数据的二次处理,可选择TXT格式中转方式。本发明能够解决MPP数据库和Hadoop业务间数据无法互通的问题,实现MPP数据库和Hadoop两种业务平台的混搭。
-
-
-
-
-
-
-
-
-