一种OLAP数据库排序算子中的高性能归并方法

    公开(公告)号:CN117112238B

    公开(公告)日:2024-01-30

    申请号:CN202311369632.0

    申请日:2023-10-23

    Inventor: 丁骁阳 赵伟

    Abstract: 本发明提供了一种OLAP数据库排序算子中的高性能归并方法,包括:将排序算子的输入数据的单位定义为段,每段为输入段;将每个输入段中的数据块添加到排序算子的cache中,用以在排序和物化时使用,其中数据块为输入数据的最小输入单元;针对添加到排序算子的cache中的输入数据进行内部排序,形成排序后的输入数据;针对排序后的输入数据,按照分割点拆分成t个子任务;分别在每个子任务中进行归并,所有子任务的归并结果即为整体的归并结果;根据整体的归并结果物化排序列的实际数据以及其它查询需要的列,输出结果。本发明有益效果:一种OLAP数据库排序算子中的高性能归并方法,可充分发挥多核CPU的计算性能,大幅缩短归并耗时。

    一种OLAP数据库排序算子中的高性能归并方法

    公开(公告)号:CN117112238A

    公开(公告)日:2023-11-24

    申请号:CN202311369632.0

    申请日:2023-10-23

    Inventor: 丁骁阳 赵伟

    Abstract: 本发明提供了一种OLAP数据库排序算子中的高性能归并方法,包括:将排序算子的输入数据的单位定义为段,每段为输入段;将每个输入段中的数据块添加到排序算子的cache中,用以在排序和物化时使用,其中数据块为输入数据的最小输入单元;针对添加到排序算子的cache中的输入数据进行内部排序,形成排序后的输入数据;针对排序后的输入数据,按照分割点拆分成t个子任务;分别在每个子任务中进行归并,所有子任务的归并结果即为整体的归并结果;根据整体的归并结果物化排序列的实际数据以及其它查询需要的列,输出结果。本发明有益效果:一种OLAP数据库排序算子中的高性能归并方法,可充分发挥多核CPU的计算性能,大幅缩短归并耗时。

    数据库集群日志同步方法、装置、服务器及存储介质

    公开(公告)号:CN112597251B

    公开(公告)日:2023-01-24

    申请号:CN202011607549.9

    申请日:2020-12-29

    Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。

    一种用于云数据库的远程存储服务本地缓存管理方法

    公开(公告)号:CN114297243A

    公开(公告)日:2022-04-08

    申请号:CN202111678121.8

    申请日:2021-12-31

    Inventor: 赵伟 寇韦韦

    Abstract: 本发明提供了一种用于云数据库的远程存储服务本地缓存管理方法,代理服务器接收所有的请求;对请求合并优化;缓存管理服务器根据合并优化后的多条请求向本地缓存中查找;若本地缓存中存在本次请求的数据,则将请求的信息打包反馈给请求者;若本地缓存中不存在本次请求的数据,则将请求的路径反馈给请求者,请求者直接到对象服务器中查找相关信息,对象服务器将请求的相关信息反馈给缓存管理服务器。本发明所述的管理方法,实现集群的快速扩容或者缩容操作。获得缓冲数据后,可以采元数据管理机制,缓冲数据文件和缓冲状态做相关记录,便于存取数据使用,对读取数据的位置以及写入数据的位置进行管控和记录,提高读写数据的效率。

    一种实现数据库函数智能扩展的方法及系统

    公开(公告)号:CN113986889A

    公开(公告)日:2022-01-28

    申请号:CN202111617476.6

    申请日:2021-12-28

    Inventor: 赵伟 崔杰

    Abstract: 本发明提供了一种实现数据库函数智能扩展的方法及系统,预先设置扩展函数库及系统表;主控内核程序对自定义函数组进行生成,生成统一注册函数及自定义函数组文件;客户端创建自定义函数组,调用统一注册函数,将函数注册信息写入到系统表及内存;自定义函数组中的自定义函数的使用过程中,客户端输入自定义函数名称,确定自定义函数可执行,调用自定义函数组文件,执行自定义函数组。本发明所述的通过在数据库内设置系统表和扩展函数库,将系统表和扩展函数库与主控内核程序配合,增强数据库的扩展性,同时减少修改主控内核程序代码,减少升级风险。

    一种基于Kerberos机制实现数据库登录认证的方法

    公开(公告)号:CN113704724B

    公开(公告)日:2022-01-11

    申请号:CN202111279611.0

    申请日:2021-11-01

    Inventor: 赵伟 崔杰 姚铸

    Abstract: 本发明提供了一种基于Kerberos机制实现数据库登录认证的方法,包括准备认证和动态认证两个阶段,准备认证阶段调取插件,建立Kerberos与数据库间的联系,动态认证阶段客户端将用户名发送到服务端;服务端解析用户名信息,确定否为Kerberos认证方式,若是,则进行标记并将相关认证数据发给客户端;客户端收到认证数据进行客户端身份验证;验证通过后,客户端把服务端的认证主体信息发给KDC,KDC对客户端和服务端均进行身份合法信息认证;客户端通过票据授权服务获取授权票据凭证cred进而发送给服务端;服务端解密cred获得客户端信息,与客户端认证标识进行比较,相同则登录成功,kerberos认证杜绝了登录密码泄露的可能性,并且保证了数据请求方的合法性和数据供给方的合法性。

    一种基于Kerberos机制实现数据库登录认证的方法

    公开(公告)号:CN113704724A

    公开(公告)日:2021-11-26

    申请号:CN202111279611.0

    申请日:2021-11-01

    Inventor: 赵伟 崔杰 姚铸

    Abstract: 本发明提供了一种基于Kerberos机制实现数据库登录认证的方法,包括准备认证和动态认证两个阶段,准备认证阶段调取插件,建立Kerberos与数据库间的联系,动态认证阶段客户端将用户名发送到服务端;服务端解析用户名信息,确定否为Kerberos认证方式,若是,则进行标记并将相关认证数据发给客户端;客户端收到认证数据进行客户端身份验证;验证通过后,客户端把服务端的认证主体信息发给KDC,KDC对客户端和服务端均进行身份合法信息认证;客户端通过票据授权服务获取授权票据凭证cred进而发送给服务端;服务端解密cred获得客户端信息,与客户端认证标识进行比较,相同则登录成功,kerberos认证杜绝了登录密码泄露的可能性,并且保证了数据请求方的合法性和数据供给方的合法性。

    一种对多个分布式MPP集群进行监控报警的监控方法及系统

    公开(公告)号:CN113419925A

    公开(公告)日:2021-09-21

    申请号:CN202110978147.8

    申请日:2021-08-25

    Inventor: 赵伟 范树磊

    Abstract: 本发明提供了一种对多个分布式MPP集群进行监控报警的监控方法及系统,包括通过分布式监控系统对每个分布式MPP集群进行监控策略设置;采集中心向采集代理模块发送采集信号;采集代理模块根据接收的采集信号进行监控指标采集,将采集的监控指标返回给采集中心模块;采集中心模块根据监控指标的指标值进行告警运算,并判断是否告警;将采集的信息及告警信息保存至资源库模块;监控网站模块获取资源库模块的信息,实现告警信息查看和指标趋势信息查看。本发明所述的方法及系统,能够实现对多个分布式MPP集群进行独立的监控策略设置,并进行集中监控,较只能监控一个集群的监控系统,可以解决多个分布式MPP集群间切换监控时需要跨监控平台进行切换的问题。

    高可用数据库日志接收队列、同步方法及装置

    公开(公告)号:CN112612855A

    公开(公告)日:2021-04-06

    申请号:CN202011607632.6

    申请日:2020-12-29

    Abstract: 本发明提供了一种高可用数据库日志同步方法,包括:从节点创建至少一个recv_thread线程进行日志块数据的处理和接收,所述日志块数据是由主节点将日志流数据切分而成的日志块数据,每个日志块数据包括日志首部信息和日志数据;每当recv_thread线程接收到一个日志块数据时,先从日志块数据中提取首部信息,根据首部信息将该日志块数据放置接收队列中;所述日志接收队列为一个指针数组,数组中的每个成员为一个结构指针,每个结构指针指向一个结构head,结构head中有两个链表,分别为顺序链表和失序链表,链表中的每个节点是一个日志块数据。本发明能够有效提高集群中从节点对日志的接收和处理速度,降低主从节点日志同步延迟,提高数据库集群高可用性。

    数据库集群日志同步方法、装置、服务器及存储介质

    公开(公告)号:CN112597251A

    公开(公告)日:2021-04-02

    申请号:CN202011607549.9

    申请日:2020-12-29

    Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法,发送端包括如下步骤:主节点创建日志处理和发送线程,进行日志流数据的切分处理并将切分后的日志块写入管道;主节点创建RDMA发送线程,从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式,能够显著提升日志数据传输速度,降低日志传输的网络延迟,能够减少数据库对单个事务的响应时间,在高并发的场景下,因此能够显著提升数据库的高可用性,提升用户体验。

Patent Agency Ranking