一种提高列存储引擎读性能的方法及系统

    公开(公告)号:CN114356230B

    公开(公告)日:2024-04-23

    申请号:CN202111584289.2

    申请日:2021-12-22

    Abstract: 本发明提供了一种提高列存储引擎读性能的方法,包括如下步骤:S1、将数据单元DC存储至文件对象PCFile中,并对文件对象PCFile建立文件索引,将该文件索引进行存储;S2、设置对象存储缓存模块读取模式,用以列存储引擎在不同情况下调用对象存储缓存模块;S3、设置热度值,并根据热度值对对象存储缓存模块设置淘汰方法。本发明所述的一种提高列存储引擎读性能的方法满足了计算任务运行的数据资源需求,有效的增强了列存储引擎在读取对象存储数据的速度,解决了传统方法中列存储引擎读取对象存储数据缓慢的问题,为传统数据库与对象存储的结合提供了新的方法。

    一种工作负载预测方法
    2.
    发明授权

    公开(公告)号:CN117390465B

    公开(公告)日:2024-02-20

    申请号:CN202311686615.X

    申请日:2023-12-11

    Abstract: 本发明创造提供了一种工作负载预测方法,该方法包括以下步骤:获取当前的负载信息;将当前的负载信息输入预先训练的预测模型;所述预测模型包括线性模型和非线性模型;计算非线性模型与线性模型的预测结果的比值,若比值大于指定的比例阈值,则输出非线性模型的预测结果;反之,则输出线性模型的预测结果。本发明创造中,在周期式、峰值式、渐变式等多种工作负载预测中均能够获得精确度较高的预测结果,且该预测方法中未采用额外的神经网络架构,训练时间更短,训练成本更低。

    高可用数据库日志接收队列、同步方法及装置

    公开(公告)号:CN112612855B

    公开(公告)日:2023-01-24

    申请号:CN202011607632.6

    申请日:2020-12-29

    Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。

    一种用于分布式事务型数据库的片区逻辑时钟方法

    公开(公告)号:CN114362870B

    公开(公告)日:2022-11-29

    申请号:CN202111591907.6

    申请日:2021-12-23

    Abstract: 本发明提供了一种用于分布式事务型数据库的片区逻辑时钟方法,为了提供比分布数据节点更准确的物理时钟服务,同时考虑均衡服务的需要,将分布式事务型数据库集群划分多个片区,每个片区都设立一个片区时钟服务节点,用于为片区内所有节点提供统一的物理时钟服务,包括片区时钟,所述片区时钟用于为分布式事务型数据库提供全局的时钟服务,同时片区时钟用于记录全局的事件发生时间。本发明有益效果:一种用于分布式事务型数据库的片区逻辑时钟方法,提供一种分布与集中相结合的片区时钟,为分布式事务型数据库提供时钟服务,同时兼备集中式和分布式时钟的优点,弥补了集中式和分布式时钟的不足。

    基于动态评估的并行化分布式数据库引擎测试方法及系统

    公开(公告)号:CN114356758A

    公开(公告)日:2022-04-15

    申请号:CN202111592199.8

    申请日:2021-12-23

    Abstract: 本发明提供了一种基于动态评估的并行化分布式数据库引擎测试方法及系统,具体步骤为:服务端设置多个测试集群,确定需要测试的用例,并将需要测试的用例分组,每组用例组中的用例估算耗时总和接近;以并行方式在多个测试集群上部署数据库,每个测试集群组执行一组用例,读取并执行用例组,返回结果,将返回结果与用例预期结果对比,获取对比结果,记录用例执行对比信息;所有用例执行结束后,数据库中设置记录用例执行对比信息的用例结果表。本发明解决了现有数据库进行用例测试时,效率低、资源利用率低、与预期结果对比误差大的问题。

    一种事务型数据库之间巨大事务增量同步方法

    公开(公告)号:CN114003622B

    公开(公告)日:2022-04-08

    申请号:CN202111636304.3

    申请日:2021-12-30

    Inventor: 赵伟 田志敏

    Abstract: 本发明提供了一种事务型数据库之间巨大事务增量同步方法,具体包括以下内容,通过日志流式挖掘模块解析业务系统数据库内的逻辑日志,将解析逻辑日志后得到的重做SQL发送至事务还原模块进行事务还原,还原过程中如果事务的长度超过设定长度阈值,需要对事务进行拆分,拆分后通过数据投递模块向目标数据库写入事务,若没有超过长度阈值则直接写入目标数据库。本发明所述的一种事务型数据库之间巨大事务增量同步方法,在数据保证数据一致性和内存可控的前提下实现源库巨大事务的增量同步。

    一种并行高性能增量同步方法

    公开(公告)号:CN113918657A

    公开(公告)日:2022-01-11

    申请号:CN202111519022.5

    申请日:2021-12-14

    Inventor: 赵伟 田志敏

    Abstract: 本发明提供了一种并行高性能增量同步方法,包括并发预处理重排序队列模块;据原始事务缓存区中的原始事务中的每条SQL语句的表名和主键值计算hash值,通过hash值与并发预处理重排序队列模块中的队列数取模,根据取模值将原始事务中的每条SQL语句重新分配给与取模值对应的队列中;多线程写入模块把队列中的SQL语句通过写入线程写入到目标数据库;断点续传信息守护模块找出所有队列中增量信息对应的事务号最小的事务号,把该事务号记录到文件中,便于SQL写入目标数据库过程中断点后继续读取,不遗漏数据。本发明所述的一种并行高性能增量同步方法,在数据保证数据一致性的前提下实现目标库快速并发的增量同步。

    一种基于数据库执行select语句的动态可信判定方法

    公开(公告)号:CN112613301A

    公开(公告)日:2021-04-06

    申请号:CN202011639318.6

    申请日:2020-12-31

    Abstract: 本发明提供了一种基于数据库执行select语句的动态可信判定方法,S1、管理员在可信数据库中设定可信的查询语句关键字模版,通过加密算法计算可信度量值并存储在可信计算基中;S2、数据库运行在可信环境中时,用户使用select语句进行查询,通过语法分析器和编译器进行验证,生成语法分析树,抽取查询语句中的关键字合并成字符串,然后对字符串进行加密运算得到可信度量值;S3、将S2中的可信度量值与可信计算基中的可信度量值进行对比,得到可信报告。本发明所述的基于数据库执行select语句的动态可信判定方法利用用动态可信进行实时监测,可以根据时间等动态信息进行区分不同时间用户对数据库操作的权限。

    一种数据安全级别的识别检测方法及装置

    公开(公告)号:CN108363717B

    公开(公告)日:2021-03-12

    申请号:CN201711473686.6

    申请日:2017-12-29

    Abstract: 一种数据安全级别的识别检测方法及装置,本发明旨在提供一种识别检测数据安全分级的方法。该方法作用的对象为关系型数据库或大数据服务提供者的存储数据,可为单个关系表,单个存储文件或单个数据库判定其安全级别,级别越高则数据泄漏或损坏后造成的损失越大。该方法以数据单元所含敏感数据多少作为最重要特征,结合数据单元的主题,数据量,对大数据服务平台上尽可能多的数据单元做聚类并根据其结果设定安全分级并可对新的数据单元进行安全级别认定。该种分级方法能全面,准确,有效的评估数据安全级别,为普通数据服务和大数据服务平台应该设定哪种级别的数据安全保护提供参考,为评估大数据服务能力提供支持。

Patent Agency Ranking