-
公开(公告)号:CN117390064A
公开(公告)日:2024-01-12
申请号:CN202311697041.6
申请日:2023-12-12
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/2453 , G06F16/28 , G06N3/044 , G06N3/0464
Abstract: 本发明创造提供了一种基于可嵌入子图的数据库查询优化方法,该方法包括以下步骤:从批量的数据库查询操作中提取常见子查询;所述常见子查询为出现比例超过指定阈值的查询操作;计算所述常见子查询的查询代价,并将所述常见子查询作为子节点嵌入用于数据库查询的代价估计树中。本发明创造中,将出现比例较高的,已有代价估计的常见子查询嵌入代价估计树中,以避免进行数据库查询时对这些子查询进行反复的代价估计,进而最小化累积效应,并减少重复查询,实现数据库查询的低能耗和高精度。
-
公开(公告)号:CN111339531B
公开(公告)日:2023-12-19
申请号:CN202010113038.5
申请日:2020-02-24
Applicant: 南开大学 , 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种恶意代码的检测方法、检测装置、计算机可读存储介质以及电子设备,通过提取待检测代码的特征信息,并计算待检测代码的特征信息与典型恶意代码的特征信息的相似度,当该相似度大于预设的相似度阈值时,确定待检测代码为恶意代码,利用特征信息来检测出待检测代码中的恶意代码或恶意回调函数,可以较为准确的检测出恶意的待检测代码,从而提高了用户的使用安全。
-
公开(公告)号:CN114357068A
公开(公告)日:2022-04-15
申请号:CN202111584288.8
申请日:2021-12-22
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27 , G06F16/2455 , G06F16/2453 , G06F16/242
Abstract: 本发明提供了一种从kafka向数据库同步数据的方法,包括:S1、从数据库查询进度表得到原始数据对应的消费进度;S2、根据消费进度从kafka中读取数据,并对读取的数据进行解析;S3、数据解析后,判断数据的操作类型,对不同操作类型的数据进行攒批操作,构造sql语句;S4、在数据库中执行sql语句,向进度表写入消费进度,并判断数据库执行结果是否正确;若数据库执行结果正确,则数据库执行提交操作;若数据库执行结果错误,数据库执行回滚操作,循环至步骤S2。本发明在用户对数据库有并发查询业务时,通过攒批集中处理,保证了用户正常业务使用计算资源,保证了数据的高同步性,同时在保证了数据结果的准确性,也保持较高的数据处理速度。
-
公开(公告)号:CN114356230A
公开(公告)日:2022-04-15
申请号:CN202111584289.2
申请日:2021-12-22
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种提高列存储引擎读性能的方法,包括如下步骤:S1、将数据单元DC存储至文件对象PCFile中,并对文件对象PCFile建立文件索引,将该文件索引进行存储;S2、设置对象存储缓存模块读取模式,用以列存储引擎在不同情况下调用对象存储缓存模块;S3、设置热度值,并根据热度值对对象存储缓存模块设置淘汰方法。本发明所述的一种提高列存储引擎读性能的方法满足了计算任务运行的数据资源需求,有效的增强了列存储引擎在读取对象存储数据的速度,解决了传统方法中列存储引擎读取对象存储数据缓慢的问题,为传统数据库与对象存储的结合提供了新的方法。
-
公开(公告)号:CN113986889B
公开(公告)日:2022-04-05
申请号:CN202111617476.6
申请日:2021-12-28
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/21 , G06F16/22 , G06F16/245
Abstract: 本发明提供了一种实现数据库函数智能扩展的方法及系统,预先设置扩展函数库及系统表;主控内核程序对自定义函数组进行生成,生成统一注册函数及自定义函数组文件;客户端创建自定义函数组,调用统一注册函数,将函数注册信息写入到系统表及内存;自定义函数组中的自定义函数的使用过程中,客户端输入自定义函数名称,确定自定义函数可执行,调用自定义函数组文件,执行自定义函数组。本发明所述的通过在数据库内设置系统表和扩展函数库,将系统表和扩展函数库与主控内核程序配合,增强数据库的扩展性,同时减少修改主控内核程序代码,减少升级风险。
-
公开(公告)号:CN113656511B
公开(公告)日:2022-02-18
申请号:CN202111218116.9
申请日:2021-10-20
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/27 , G06F16/215 , G06F16/23
Abstract: 本发明提供了一种基于源库不停机的异构数据库增量同步方法及系统,具体步骤如下:开启数据捕获,监控源端数据库的最新变化,捕获增量数据,并将增量数据发送到临时储存区;进行全量同步任务,全量过程和增量过程中均设置递增序列号;增量数据捕获完成,进行数据投递,完成临时储存区的增量数据进入目标端数据库;对全量同步过程中产生的重复数据进行去重;继续进行数据捕获和数据投递,进行后续的增量同步。本发明所述的临时储存区保证全量内容先进入目标端数据库,增量内容后进入目标端数据库,防止增量内容先进入目标端数据库在空表上执行sql语句,之后全量内容进入目标端数据库,导致增量内容没生效的问题发生,保证数据有效性。
-
公开(公告)号:CN114003622A
公开(公告)日:2022-02-01
申请号:CN202111636304.3
申请日:2021-12-30
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/242 , G06F16/27 , G06F11/14
Abstract: 本发明提供了一种事务型数据库之间巨大事务增量同步方法,具体包括以下内容,通过日志流式挖掘模块解析业务系统数据库内的逻辑日志,将解析逻辑日志后得到的重做SQL发送至事务还原模块进行事务还原,还原过程中如果事务的长度超过设定长度阈值,需要对事务进行拆分,拆分后通过数据投递模块向目标数据库写入事务,若没有超过长度阈值则直接写入目标数据库。本发明所述的一种事务型数据库之间巨大事务增量同步方法,在数据保证数据一致性和内存可控的前提下实现源库巨大事务的增量同步。
-
公开(公告)号:CN113934711A
公开(公告)日:2022-01-14
申请号:CN202111537733.5
申请日:2021-12-16
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种自动化部署gbase8s集群的方法,包括以下步骤:S1、部署gbase8s‑controller和gbase8s pod,并通过CRD把gbase8s集群资源注册为kubernetes管理的资源;S2、在步骤S1部署gbase8s‑controller后,gbase8s‑controller初始化时向api‑server订阅gbase8s‑cluster消息,gbase8s‑cluster消息为gbase8s集群资源的消息。本发明有益效果:一种自动化部署gbase8s集群的方法,只要简单的写一下配置文件,集群名称、节点个数,就能在kubernetes中快速部署gbase8s集群,省去人工部署的麻烦。
-
公开(公告)号:CN113515537A
公开(公告)日:2021-10-19
申请号:CN202111065798.4
申请日:2021-09-13
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/23 , G06F16/215 , G06F16/22 , G06F11/14
Abstract: 本发明提供了一种实现生命周期表垃圾数据免维护的方法,将数据存入预先建立的生命周期表,生命周期表由远到近期划分多个连续的时间段,依次为P1、P2、P3,每存入新数据,表内历史数据进行一次流转,流转步骤为:对生命周期表加锁;清除P2分区中垃圾数据,将P3中最先存入的部分数据向P2中拷贝,并作为P2中最新数据存放;清除P1分区中垃圾数据,将P2中最先存入的部分数据向P1中拷贝,并作为P1中最新数据存放;更新生命周期表的内部系统时间;删除P3中已被拷贝到P2的数据;删除P2中已被拷贝到P1的数据;解锁。本发明所述的生命周期表用分区边界来控制数据可见性和可查询性,采用先拷贝再删除的方式,即不产生任何额外的成本,效率高,流转可靠。
-
公开(公告)号:CN112612724A
公开(公告)日:2021-04-06
申请号:CN202011607548.4
申请日:2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F12/02
Abstract: 本发明创造提供了一种基于tcmalloc和内存预分配的内存管理碎片改善方法,包括:S1、读取释放前内存的一个地址指针;S2、判断是否获取成功,获取成功则进行步骤S3,否则进行步骤S4;S3、将前一个内存从空闲链表中删除后,与当前内存地址合并后进行步骤S4;S4、读取释放内存的后一个地址指针;S5、判断是否获取成功,获取成功则进行步骤S6,否则进行步骤S7;S6、将后一个内存从空闲链表中删除,与当前内存地址合并后进行步骤S7;S7、将合并后的内存存入空闲链表,合并结束。本发明创造有益效果:一种基于tcmalloc和内存预分配的内存管理碎片改善方法,通过实施该方法,可以合并地址连续的空闲内存,减少内存碎片,提升内存使用效率。
-
-
-
-
-
-
-
-
-