-
公开(公告)号:CN106776746A
公开(公告)日:2017-05-31
申请号:CN201611029689.6
申请日:2016-11-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/328
Abstract: 本发明提供了一种全文索引数据的创建方法及装置,所述方法包括:并行对文档进行分词,记录单词位置和单词标记;按照用于记录单词位置和单词标记的存储数据块顺序对所述分词的结果依次进行封装,生成封装块和封装块的索引,所述索引包括:词编号及数量;根据所述索引对单词进行排序;对所述封装块进行拆包,对相同的单词进行归类。可以有效利用计算资源,减少分词时间,并可对并行分词结果排序处理,准确的得到索引数据。
-
公开(公告)号:CN106557562A
公开(公告)日:2017-04-05
申请号:CN201611008834.2
申请日:2016-11-14
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/3048 , G06F17/30362
Abstract: 本发明提供了一种单机数据库数据的查询方法及装置,其中,所述方法包括:设置多个主机与存储数据的存储器连接,并缓存所述数据;所述主机接收客户端的查询情求,并根据所述查询请求从缓存中获取查询数据,并返回所述客户端。节点可以分解查询压力,有效提高查询响应速度。使用单机数据库就可以实现,简单便捷,并可共享同一套存储架构,节约磁盘空间。
-
公开(公告)号:CN106407308A
公开(公告)日:2017-02-15
申请号:CN201610777611.6
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种分布式数据库的扩容方法及装置,所述方法包括:集群安装新节点,所述新节点与原有节点为倍数关系;建立新节点与原有节点的映射关系;将原有节点的数据复制至映射关系对应的新节点,构造新的hash map;新节点和原有节点按照所述hash map进行数据重分布;更新集群中节点中的表。减少了节点数据的计算量,实现了强扩容性能,并能快速释放删除行的存储空间。
-
公开(公告)号:CN106355107A
公开(公告)日:2017-01-25
申请号:CN201610777884.0
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F21/6227 , G06F21/604
Abstract: 本发明涉及一种支持快速预判权限的集权数据加载工具及方法。其目的是为了提供一种使用效率高、灵活性强的支持预判权限的集权数据加载工具及方法。本发明包括加载工具使用接口、加载任务管理模块和加载任务执行模块。加载工具使用接口的信号输出端与加载任务管理模块的信号接收端连接,加载任务管理模块的信号输出端与加载任务执行模块的信号接收端连接,加载任务执行模块内部又包括权限预判模块,权限预判模块的信号输出端分别与文件列表和权限信息列表连接。加载工具使用接口用于启动加载任务;加载任务管理模块用于保存、维护和调度所有接收到的加载任务;加载任务执行模块用于负责具体加载任务的执行;权限预判模块用于对数据文件进行权限预判。
-
公开(公告)号:CN106250566A
公开(公告)日:2016-12-21
申请号:CN201610777671.8
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种分布式数据库及其数据运算的管理方法。其中,所述分布式数据库包括:管理集群,用于接收用户的指令,并解析优化所述指令,生成执行计划和调度;基础运算层集群,用于接收管理集群接收执行计划,基于分布在节点上的业务表进行运算;汇总结果运算层集群,用于接收来自基础运算层集群分发的数据进行运算。在数据不具有本地性时,可以实现汇总和交互数据,减少节点之间网络资源的使用,并可使得分布式数据库运算节点资源更加均衡。
-
公开(公告)号:CN105512528A
公开(公告)日:2016-04-20
申请号:CN201510932954.0
申请日:2015-12-12
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: G06F21/31 , G06F21/6227 , G06F2221/2141
Abstract: 本发明提供一种业务模型中行权限的实现方法,包含如下步骤:1)设置业务模型的行权限;2)用户对业务模型查询时,对该查询结构添加当前用户的行权限限制。本发明具有的优点和积极效果是:使业务模型中行权限的设置简单通用,增加了数据查询的安全性。
-
公开(公告)号:CN105279280A
公开(公告)日:2016-01-27
申请号:CN201510786466.3
申请日:2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/254 , G06F16/214
Abstract: 本发明是提供一种可以快速提取oracle数据库中的数据、并将其转换为MPP数据库能识别的数据并快速加载到MPP数据库中的方法与工具,以此为基础来支撑企业在线交易系统与大数据平台的数据交换。
-
公开(公告)号:CN104572895A
公开(公告)日:2015-04-29
申请号:CN201410820059.5
申请日:2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30557
Abstract: 本发明提供一种MPP数据库与Hadoop集群数据互通方法、工具及实现方法,包括利用数据互通工具直接进行MPP数据库与Hadoop集群之间数据的互通的方法以及通过TXT中转进行数据互通的方法,数据由MPP数据库直接导出(导入)至Hadoop集群,无需通过MPP数据库与Hadoop集群之外的存储单元中转,从而使得导出过程更加高效,如需Hadoop集群进行数据的二次处理,可选择TXT格式中转方式。本发明能够解决MPP数据库和Hadoop业务间数据无法互通的问题,实现MPP数据库和Hadoop两种业务平台的混搭。
-
公开(公告)号:CN104537074A
公开(公告)日:2015-04-22
申请号:CN201410847869.X
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30864
Abstract: 本发明提供一种提高数据库系统写日志性能的方法,所述的方法包括:将数据库系统写日志的接口,从直接写文件变成写共享内存;采用无锁数据结构,支持多线程并行写入;独立的Logd进程,定期或者溢出触发方式,将共享内存中的日志数据批量写入日志文件。数据库进程崩溃而重启后,日志API会寻找共享内存中上次写入的位置,从而继续写入。本发明能够提高数据库系统写日志的性能,并且对系统的性能无影响。
-
公开(公告)号:CN104504123A
公开(公告)日:2015-04-08
申请号:CN201410850163.9
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30215
Abstract: 本发明提供一种基于日志拆分的目录复制实现方法,此方法包含:在生成复制公有日志时,对每个从目录分别产生一个公有日志文件,并分别启动一个复制进程,处理公有日志和私有日志,进行向指定从目录的操作,进而清理复制日志;采用上述技术方案,使得向多个从目录的复制可以独立地进行,避免了部分从目录的复制问题对其它从目录复制的影响,从而提高目录复制的稳定性和可靠性,且从目录与私有日志文件的一一对应,避免了因个别从目录复制操作存在问题而造成的复制进程不能清理复制私有日志文件的问题,进而避免了复制日志的积压,保证了从目录复制操作的正常进行。
-
-
-
-
-
-
-
-
-