-
公开(公告)号:CN112613302A
公开(公告)日:2021-04-06
申请号:CN202011639337.9
申请日:2020-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F40/253
Abstract: 本发明提供了一种基于数据库执行select语句的子句的动态可信判定方法,包括以下步骤:S1、将select SQL中最基础的关键字进行静态可信度量;S2、管理员在可信数据库中设定可信的查询语句中子句关键字模版,通过加密算法计算可信度量值并存储在可信计算基中;S3、数据库运行在可信环境中时,用户使用含有group by子句的select语句进行查询,抽取查询语句中的关键字合并成字符串,然后对字符串进行加密运算得到可信度量值;S4、将S3中的可信度量值与可信计算基中的可信度量值进行对比,得到可信报告。本发明所述的基于数据库执行select语句的子句的动态可信判定方法在确定主要关键字可信的条件下再进行检验,能够有效减少用户非select语句操作的动态可信计算。
-
公开(公告)号:CN108268611B
公开(公告)日:2021-03-26
申请号:CN201711473670.5
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种基于MapReduce的k‑means文本聚类的方法及装置。包括,删除离群点,最大距离法选取初始簇中心,构造迭代中的簇中心计算公式和测度函数,设计基于MapReduce框架的大规模文本并行聚类模型。采用本发明的方法,可以有效解决传统K‑means聚类算法中的局部最优、迭代次数过多、聚类结果不稳定的问题,提高算法的并行能力和可扩展性。
-
公开(公告)号:CN112306996A
公开(公告)日:2021-02-02
申请号:CN202011279673.7
申请日:2020-11-16
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种实现多集群间联合查询和快速数据迁移的方法,包括:将每个用户的数据进行单独隔离,形成虚拟集群;每个虚拟集群为一个单独的子集群,每个子集群包含多种业务数据;多个子集群由同一个coordinator集群统一管理;多个子集群还均连接元数据集群,所述元数据集群存储着每个子集群的元数据。本发明所述的实现多集群间联合查询和快速数据迁移的方法实现多VC(虚拟集群)间的数据流转,因为多VC彼此共用相同的元数据服务,VC1可以直接把VC2的数据拉到本地,直接参与计算,这些过程都是在集群数据库内部执行的,对用户不感知。
-
公开(公告)号:CN108460074A
公开(公告)日:2018-08-28
申请号:CN201711470231.9
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种基于BloomFilter原理的多列索引在列存数据库中的实现方法,包括:基于BloomFilter原理的多列索引在列存数据库中的创建方法,及在列存数据库查询中的使用方法。本发明实现的多列索引具有以下优点:不存储实际值,空间占用小;索引查询速度快,耗时固定;一个索引即可支持任意列的组合查询;BloomFilter中的假阳率(False positives)可控。本发明的有益效果是能最大程度地排除不命中的记录,减少扫描所需的磁盘访问,从而提升数据库的性能。
-
公开(公告)号:CN106408085A
公开(公告)日:2017-02-15
申请号:CN201610777655.9
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06N3/08 , G06K9/6267
Abstract: 本发明提出了一种使用单隐层解决非线性问题的BP神经网络分类方法及分类器,包括:建立BP神经网络模型,其中,所述BP神经网络模型采用单隐层前馈网络;对BP神经网络模型的输入端的权重参数进行优化;输入数据至所述BP神经网络模型与优化后的权重参数进行联合计算,最终在所述BP神经网络模型的输出端实现对数据的分类识别。本发明可以减小使用多隐层解决非线性可分问题所带来的资源消耗大,计算代价大等问题,提高神经网络的工作效率。
-
公开(公告)号:CN106383844A
公开(公告)日:2017-02-08
申请号:CN201610777665.2
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/1744 , G06F16/221
Abstract: 本发明提出了一种应用于特殊数据的存储方法及装置,包括:检测时间序列数据库中的数据类型;判断时间序列数据库中的适合使用列存储的数据类型;对判断的适合使用列存储的数据类型对应的数据,采用列存储方式将数据进行存储操作,其中,在列存储操作过程中,同一列的数据类型相同,采用相同的高效压缩编码算法对数据进行压缩,并采用批处理对列数据进行查询执行。本发明采用列式存储方式支持复杂的嵌套类型的数据,同时能够提高时间序列数据库的数据查询效率,磁盘存储效率。
-
公开(公告)号:CN106355107A
公开(公告)日:2017-01-25
申请号:CN201610777884.0
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F21/6227 , G06F21/604
Abstract: 本发明涉及一种支持快速预判权限的集权数据加载工具及方法。其目的是为了提供一种使用效率高、灵活性强的支持预判权限的集权数据加载工具及方法。本发明包括加载工具使用接口、加载任务管理模块和加载任务执行模块。加载工具使用接口的信号输出端与加载任务管理模块的信号接收端连接,加载任务管理模块的信号输出端与加载任务执行模块的信号接收端连接,加载任务执行模块内部又包括权限预判模块,权限预判模块的信号输出端分别与文件列表和权限信息列表连接。加载工具使用接口用于启动加载任务;加载任务管理模块用于保存、维护和调度所有接收到的加载任务;加载任务执行模块用于负责具体加载任务的执行;权限预判模块用于对数据文件进行权限预判。
-
公开(公告)号:CN105574127A
公开(公告)日:2016-05-11
申请号:CN201510932895.7
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F16/273 , G06F11/1461 , G06F16/27
Abstract: 本发明公开了一种分布式数据库系统准实时的双活方法,包括内嵌在外部应用作业中并接受作业调度的调度模块、用于在作业修改数据完成后实现主副集群间数据复制的数据复制模块、用于实现数据准实时数据增量同步的数据同步模块,方法包括如下步骤:步骤A、建立一个与主机群分片数相同的备份集群;步骤B、调度模块根据主机群分片内文件块以增量方式进行数据调度;步骤C、数据复制模块根据数据调度模块内数据以增量方式进行文件块复制;步骤D、数据同步模块将数据复制模块内增量复制的数据向备份集群内进行同步调度和同步数据更改。本发明可快速的对主机分布式数据库间的数据同步,缩短灾备的恢复时间,达到准实时的灾备,适用性好,实用性强。
-
公开(公告)号:CN105279280A
公开(公告)日:2016-01-27
申请号:CN201510786466.3
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/254 , G06F16/214
Abstract: 本发明是提供一种可以快速提取oracle数据库中的数据、并将其转换为MPP数据库能识别的数据并快速加载到MPP数据库中的方法与工具,以此为基础来支撑企业在线交易系统与大数据平台的数据交换。
-
公开(公告)号:CN114328206B
公开(公告)日:2025-03-28
申请号:CN202111594973.9
申请日:2021-12-23
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/3668
Abstract: 本发明提供了一种能够实现高覆盖率且高效率的白盒异常测试方法,在数据库产品中加入白盒异常处理代码逻辑;测试人员指定数据库测试目标并开启对用例库中所有用例的测试程序;读取一条用例,为被测用例初始化一个空堆栈池;每当数据库内异常处理代码被触发时,生成被测用例当前执行点的函数调用栈,将函数调用栈存储到被测用例对应的堆栈池中,记录被测用例的堆栈池信息;测试程序对用例库中所有用例执行异常测试,将造成异常的函数调用栈对应的异常信息记录到日志中;根据日志定位此次异常测试出现的位置及问题。本发明所述的一种能够实现高覆盖率且高效率的白盒异常测试方法,遍历数据库中所有触发异常的调用堆栈,全覆盖保证测试的准确完善。
-
-
-
-
-
-
-
-
-