-
公开(公告)号:CN113672619B
公开(公告)日:2024-02-06
申请号:CN202110942746.4
申请日:2021-08-17
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/22 , G06F16/2458
Abstract: 本发明提供了一种按照hash规则切分数据使其更均匀的方法,首先根据设置的内存大小去计算出hash桶的数量,然后将待切分的数据集合进行采样,在采样过程中,记录下相同数据出现的次数,然后把记录下来的数据和数据的出现次数按照出现次数进行排序,将顶端的数据进行记录形成topN数据信息,然后在进行单独划分形成独立的hash数据块。本发明所述的一种按照hash规则切分数据使其更均匀的方法,各数据块切分得更均匀可以使得多个线程可以在同一时间完成工作,避免单个线程由于划分的数据量巨大使得处理时间过长的问题。
-
公开(公告)号:CN118885284A
公开(公告)日:2024-11-01
申请号:CN202411390697.8
申请日:2024-10-08
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 李南锋
IPC: G06F9/48 , G06F16/2455
Abstract: 本发明提供了一种基于key‑value数据库的分布式队列锁执行方法,可以应用于数据库技术领域。该方法包括:响应于检测到第一客户端针对key‑value数据库中目标资源的数据访问请求,根据与目标资源对应的分布式锁的key信息,读取第一value信息,第一value信息包括分布式锁的锁队列信息;根据第一value信息的读取结果,确定分布式锁的占用结果;在占用结果表征分布式锁被第二客户端占用的情况下,将第一客户端的客户端标识添加至锁队列信息中,得到更新后的第一value信息;在key‑value数据库中写入更新后的第一value信息,以在第二客户端对目标资源访问后,控制第一客户端访问目标资源。
-
公开(公告)号:CN104410698B
公开(公告)日:2019-03-08
申请号:CN201410727702.X
申请日:2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种share nothing集群下的发起节点异常处理方法及装置,所述方法包括:集群中发起节点接收到数据请求任务后,先将其他节点设置为此数据请求任务的接管节点,接管节点向集群管理软件提交注册信息完成信息记录,发起节点继续执行任务;若执行过程无异常,发起节点完成任务并将集群管理软件设置为任务结束并清理资源;若执行过程出现异常,集群管理软件选择一个接管节点继续执行任务,接管节点完成任务之后将集群管理软件设置为任务结束并清理资源;如果任务已不可继续执行,则进行任务的异常处理,进行恢复。本发明能够解决数据库系统在执行任务中并行任务管理软件发生异常时造成集群数据不一致问题,提高了系统的稳定性。
-
公开(公告)号:CN118885284B
公开(公告)日:2025-02-18
申请号:CN202411390697.8
申请日:2024-10-08
Applicant: 天津南大通用数据技术股份有限公司
Inventor: 李南锋
IPC: G06F9/48 , G06F16/2455
Abstract: 本发明提供了一种基于key‑value数据库的分布式队列锁执行方法,可以应用于数据库技术领域。该方法包括:响应于检测到第一客户端针对key‑value数据库中目标资源的数据访问请求,根据与目标资源对应的分布式锁的key信息,读取第一value信息,第一value信息包括分布式锁的锁队列信息;根据第一value信息的读取结果,确定分布式锁的占用结果;在占用结果表征分布式锁被第二客户端占用的情况下,将第一客户端的客户端标识添加至锁队列信息中,得到更新后的第一value信息;在key‑value数据库中写入更新后的第一value信息,以在第二客户端对目标资源访问后,控制第一客户端访问目标资源。
-
公开(公告)号:CN113672619A
公开(公告)日:2021-11-19
申请号:CN202110942746.4
申请日:2021-08-17
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F16/22 , G06F16/2458
Abstract: 本发明提供了一种按照hash规则切分数据使其更均匀的方法,首先根据设置的内存大小去计算出hash桶的数量,然后将待切分的数据集合进行采样,在采样过程中,记录下相同数据出现的次数,然后把记录下来的数据和数据的出现次数按照出现次数进行排序,将顶端的数据进行记录形成topN数据信息,然后在进行单独划分形成独立的hash数据块。本发明所述的一种按照hash规则切分数据使其更均匀的方法,各数据块切分得更均匀可以使得多个线程可以在同一时间完成工作,避免单个线程由于划分的数据量巨大使得处理时间过长的问题。
-
公开(公告)号:CN104410698A
公开(公告)日:2015-03-11
申请号:CN201410727702.X
申请日:2014-12-03
Applicant: 天津南大通用数据技术股份有限公司
CPC classification number: H04L67/10 , H04L41/0668
Abstract: 本发明提供一种share nothing集群下的发起节点异常处理方法及装置,所述方法包括:集群中发起节点接收到数据请求任务后,先将其他节点设置为此数据请求任务的接管节点,接管节点向集群管理软件提交注册信息完成信息记录,发起节点继续执行任务;若执行过程无异常,发起节点完成任务并将集群管理软件设置为任务结束并清理资源;若执行过程出现异常,集群管理软件选择一个接管节点继续执行任务,接管节点完成任务之后将集群管理软件设置为任务结束并清理资源;如果任务已不可继续执行,则进行任务的异常处理,进行恢复。本发明能够解决数据库系统在执行任务中并行任务管理软件发生异常时造成集群数据不一致问题,提高了系统的稳定性。
-
-
-
-
-