-
公开(公告)号:CN112612855A
公开(公告)日:2021-04-06
申请号:CN202011607632.6
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。
-
公开(公告)号:CN112597251A
公开(公告)日:2021-04-02
申请号:CN202011607549.9
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。
-
公开(公告)号:CN106407309B
公开(公告)日:2020-05-29
申请号:CN201610777843.1
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明涉及一种支持多种数据源的集群数据库数据加载工具及方法。其目的是为了提供一种认证快捷、认证方式多样的集群数据库数据加载工具及方。本发明包括加载工具使用接口、加载任务管理模块、加载任务执行模块、读数据模块、数据源访问模块、写数据模块和数据库访问模块。加载工具使用接口用于启动加载任务,并将各个任务的参数传递给加载任务管理模块;加载任务管理模块用于保存、维护和调度所有接收到的加载任务;加载任务执行模块用于负责具体加载任务的执行;读数据模块用于提供统一的读取数据接口;数据源访问模块用于从具体的数据源上读取数据;写数据模块用于提供统一的写数据接口;数据库访问模块用于将接收到的数据加载进集群数据库。
-
公开(公告)号:CN105574433B
公开(公告)日:2019-04-30
申请号:CN201510928877.1
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
Abstract: 本发明提供了一种推理通道保留对象的确定方法及装置,所述方法包括:统计数据对象的使用频率;根据所述使用频率确定最低频率阈值和最高频率阈值;将数据对象的使用频率分别与最低频率阈值和最高频率阈值进行比较,确定低频对象和高频对象;根据低频对象所在的关联组中的对象确定是否为低频对象添加标记;将无标记的低频对象作为保留对象。能够有效避免数据对象的的阻塞攻击。保证了其它用户对于数据库的正常访问。
-
公开(公告)号:CN108363717A
公开(公告)日:2018-08-03
申请号:CN201711473686.6
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 一种数据安全级别的识别检测方法及装置,本发明旨在提供一种识别检测数据安全分级的方法。该方法作用的对象为关系型数据库或大数据服务提供者的存储数据,可为单个关系表,单个存储文件或单个数据库判定其安全级别,级别越高则数据泄漏或损坏后造成的损失越大。该方法以数据单元所含敏感数据多少作为最重要特征,结合数据单元的主题,数据量,对大数据服务平台上尽可能多的数据单元做聚类并根据其结果设定安全分级并可对新的数据单元进行安全级别认定。该种分级方法能全面,准确,有效的评估数据安全级别,为普通数据服务和大数据服务平台应该设定哪种级别的数据安全保护提供参考,为评估大数据服务能力提供支持。
-
公开(公告)号:CN106649431A
公开(公告)日:2017-05-10
申请号:CN201610777881.7
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/2228 , G06F16/248
Abstract: 本发明提供一种数据可视化中显示图表的方法,包括具体步骤如下:1)建立模板:对于已有的图形建立模板标识Id1、Id2,然后对已有的图形引用的列建立倒排索引;2)根据新的数据结构选出模板:对用户上传的其他结构化数据,遍历数据列,逐个查询每个列用到的模板,得到一个中间临时结构,统计中间临时结构中每个模板Id出现的次数,得到最终模板结构Id1;3)根据Id1的模板及新的数据,生成新的图表。本发明的有益效果是。
-
公开(公告)号:CN106372166A
公开(公告)日:2017-02-01
申请号:CN201610777883.6
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/2453 , G06F16/2282
Abstract: 本发明涉及一种支持对数据表进行快速查询的数据库系统及查询方法。其目的是为了提供一种查询速度快、查询精确的快速查询的数据库系统及查询方法。本发明包括数据表查询器,数据表查询器内部设置有快速分组查询模块、大尺度分组过滤模块、中尺度分组过滤模块和精确分组定位模块。数据表查询器对单个数据表上的查询工作进行总的控制;快速分组查询模块通过对各模块进行控制,完成对单个数据表上的分组查询操作;大尺度分组过滤模块用于单个数据表上的大尺度组边界的定位操作;中尺度分组过滤模块用于大尺度组范围内的中尺度组边界的定位操作;精确分组定位模块用于中尺度组范围内的精确组边界的定位操作。
-
公开(公告)号:CN105740305A
公开(公告)日:2016-07-06
申请号:CN201510786469.7
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/235
Abstract: 本发明提供了一种集群数据库的数据加载方法,所述方法包括:接收客户端发送的数据文件;解析所述数据文件中的数据,判断所述数据中是否包括表达式;在所述数据中包括表达式时,计算所述表达式的结果;将所述结果代入数据,并加载所述代入的数据。实现了在支持在加载过程中对数据文件中包含的表达式进行求值和代入。用户往往不需要修改或重写数据文件,仅可通过相应的条件就可以加载新的数据,提高了数据文件的使用效率,提高了集群数据库加载工具的灵活性,极大改善了数据加载工具的用户使用体验。
-
公开(公告)号:CN105574433A
公开(公告)日:2016-05-11
申请号:CN201510928877.1
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
CPC classification number: G06F21/6218
Abstract: 本发明提供了一种推理通道保留对象的确定方法及装置,所述方法包括:统计数据对象的使用频率;根据所述使用频率确定最低频率阈值和最高频率阈值;将数据对象的使用频率分别与最低频率阈值和最高频率阈值进行比较,确定低频对象和高频对象;根据低频对象所在的关联组中的对象确定是否为低频对象添加标记;将无标记的低频对象作为保留对象。能够有效避免数据对象的阻塞攻击。保证了其它用户对于数据库的正常访问。
-
公开(公告)号:CN105528558A
公开(公告)日:2016-04-27
申请号:CN201510928878.6
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F21/62
CPC classification number: G06F21/6218
Abstract: 本发明公开了一种隐蔽信道通信的检测方法及装置。所述方法包括确定可能被用户利用进行隐蔽通信的数据库对象;监控用户对所述数据库对象的操作是否满足设定扩展规则;对满足设定扩展规则的操作按照设定方式进行试探性测试;将未通过所述试探性测试的操作确定为隐蔽信道通信的异常操作。本发明解决因对所有的潜在隐蔽信道进行度量和处置产生不必要的性能消耗及降低系统效率的问题,将隐蔽信道的使用主体是自然人还是程序进行区分,达到了降低对隐蔽信道进行度量和处置的性能消耗及提高系统效率的效果。
-
-
-
-
-
-
-
-
-