-
公开(公告)号：CN105488215A
公开(公告)日：2016-04-13
申请号：CN201510932953.6
申请日：2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种MPP架构数据库集群序列系统及序列管理方法，所述系统包括：节点sequence序列模块，独立设置于所述sequence系统中的任一节点中，用于管理集群数据库中的sequence对象；sequence序列管理接收模块，设置于所述sequence系统中的中节点中，用于接收客户端的管理sequence序列请求。由于采用上述技术方案，可以让MPP架构的数据库集群具有sequence序列功能，包括sequence序列对象管理，使得使用MPP架构数据库集群的sequence功能可以获得和单机数据库相同的体验，此外通过节点sequence模块和中心sequence模块的配合，可以提供高性能的sequence功能。
-
公开(公告)号：CN105447110A
公开(公告)日：2016-03-30
申请号：CN201510778859.X
申请日：2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F16/278 , G06F9/5083 , G06F16/2365
Abstract: 本发明提供一种数据库集群批量快速加载数据的方法及加载系统，通过在数据库集群中新增加载系统，实现批量数据的获取、清洗、拆分以及分块整体存储入库。加载系统与组成集群的每个集群节点通过TCP/IP建立连接，提供加载控制接口、数据拆分功能和数据加载功能，供客户端调用实现批量快速向数据库集群中加载数据。采用本发明中的方法，提高了数据库集群数据加载的速度以及提供了数据加载的负载控制手段，同时保证了加载数据的一致性，进而提高数据库集群的高可用性。
-
公开(公告)号：CN105279279A
公开(公告)日：2016-01-27
申请号：CN201510785760.2
申请日：2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30132
Abstract: 本发明提供了一种从低速数据源加载压缩数据文件的方法，所述方法包括：接收客户端发送的控制文件；解析所述控制文件，获取控制文件中的数据来源和数据类型；判断控制文件中是否包括低速数据源的压缩数据文件；在控制文件中包括低速数据源的压缩数据文件时，读取并缓存所述低速数据源的压缩数据文件。实现了在读取压缩格式数据文件时预读数据，并放入缓存，从而在连续的若干次读取数据的操作中，只需在第一次操作中真正从数据源读取文件内容，显著减少了对低速数据源的I/O次数，用高速的内存操作加以替代，极大地提升了性能。
-
公开(公告)号：CN104615657A
公开(公告)日：2015-05-13
申请号：CN201410854728.0
申请日：2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明创造提供一种节点支持多数据分片的分布式集群的扩容和缩容方法，包括以下步骤：S1.规划集群总的数据分片数以及各个数据分片和物理节点间的对应关系，这种对应关系简称为集群distribution；S2.根据集群配置的distribution把数据分布到对应的物理节点上；S3.根据集群总的数据分片数和集群改变后的所有物理节点，重新建立新的集群distribution；S4.按照集群新的distribution,部分数据分片迁移到新的物理节点上；S5.当所有需要迁移的数据分片的数据搬移完成后，切换集群原有的distribution到新的集群distribution，集群按照该新的distribution对外提供服务。本设计不需要对所有数据进行hash计算；按照数据分片来重分布数据，扩容性能得到提升；迁移完的数据分片直接删除即可，数据空间可以完全释放。
-
公开(公告)号：CN104504130A
公开(公告)日：2015-04-08
申请号：CN201410854727.6
申请日：2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30575 , G06F17/30371
Abstract: 本发明提供一种应用于分布式数据库的解决2PC模型单点故障问题的方法，包含：建立一列从协调者队列，存入多个站点作为从协调者，其中每个从协调者的功能和协调者是相同的；协调者与多个参与者之间按照两阶段提交协议通过数据包进行通信；同时，协调者和所有从协调者之间每隔一时间段进行一次通信；若从协调者在这个时间段后没有收到协调者发送的消息，则认为协调者发生阻塞，系统立即根据一定算法从协调者队列中选择一从协调者作为新的协调者与多个参与者进行通信。本发明具有的优点和积极效果是：对于参与者来说，协调者永远不会阻塞，解决了单点故障问题；同时，也能够保障工作中有高性能的协调者。
-
Patent Agency Ranking
公开(公告)号：CN104484471A
公开(公告)日：2015-04-01
申请号：CN201410850174.7
申请日：2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/3033
Abstract: 本发明提供了一种高性能数据存储引擎的实现方法。本引擎主要用于批量追加数据，数据更新操作较少，且仅需基于键值的等值查询的使用场景。因而，并发访问方面，本引擎支持单写多读，即一个写操作可以和多个读操作并发，多个写操作之间只能串行执行。本引擎中存储的每一条数据都需要一个键值，多条数据的键值可以重复，读取数据时，只能基于该键值进行等值查询。性能方面，数据入库性能与增量数据的数据量呈线性关系，且仅与增量数据量有关，即使存量数据达到千亿行的规模，入库性能也不会呈现明显衰减。
-
公开(公告)号：CN104484470A
公开(公告)日：2015-04-01
申请号：CN201410847871.7
申请日：2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30289 , G06F17/30371
Abstract: 本发明提供一种数据库集群元数据管理方法，将元数据管理命令序列化，通过在数据库集群中增加一个实体，在进行集群元数据的统一管理，该实体与组成集群的每个集群节点连接，专门用于元数据管理，对集群的元数据变更进行统一管理。采用本发明中的方法，可以保证数据库集群中集群元数据的一致性，解决集群失效节点重新加入集群时集群元数据不一致问题，以及扩容集群时在新增节点上重建集群元数据信息，进而提高数据库集群的高可用性。
-
公开(公告)号：CN108363717B
公开(公告)日：2021-03-12
申请号：CN201711473686.6
申请日：2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 一种数据安全级别的识别检测方法及装置，本发明旨在提供一种识别检测数据安全分级的方法。该方法作用的对象为关系型数据库或大数据服务提供者的存储数据，可为单个关系表，单个存储文件或单个数据库判定其安全级别，级别越高则数据泄漏或损坏后造成的损失越大。该方法以数据单元所含敏感数据多少作为最重要特征，结合数据单元的主题，数据量，对大数据服务平台上尽可能多的数据单元做聚类并根据其结果设定安全分级并可对新的数据单元进行安全级别认定。该种分级方法能全面，准确，有效的评估数据安全级别，为普通数据服务和大数据服务平台应该设定哪种级别的数据安全保护提供参考，为评估大数据服务能力提供支持。
-
公开(公告)号：CN106354830B
公开(公告)日：2020-12-04
申请号：CN201610777767.4
申请日：2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27
Abstract: 本发明提供了一种数据库集群节点间数据同步的方法及装置，其中，所述方法包括：从元数据服务器获取需要同步的表的信息；检查锁队列，确认是否包括删除所述表的锁；如果所述锁队列中不包括所述表的删除信息，则进行数据同步。可以在对表进行修改之前将表删除，减少数据交换同步，避免浪费时间和系统资源。高效的完成数据库同步。
-
公开(公告)号：CN109977988A
公开(公告)日：2019-07-05
申请号：CN201811643314.8
申请日：2018-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06K9/62
Abstract: 本发明提出一种针对海量类别数据进行分批分类的机器学习方法及系统，包括：将海量类别数据拆分成多个子分类任务，每个子分类任务只建立局部类别的分类器，满足内存资源可以实现；多个子分类器结果进行集成，进行二次分类，确定最终的分类结果。通过本发明，可解决分类数量过多时，导致的模型存储空间，超过计算机语言自身限制，导致无法进行机器学习训练问题；可解决将单机训练性能慢，无法满足时间要求问题；可解决单台服务器无法满足训练的资源要求问题。
-
-
-
-
-
-
-
-
-
Search Results
135
records
(took 0.047 seconds)
