一种基于非均匀持久内存访问的数据放置和线程调度方法

    公开(公告)号:CN119621282A

    公开(公告)日:2025-03-14

    申请号:CN202411799921.9

    申请日:2024-12-09

    Applicant: 东北大学

    Inventor: 李容刚 张岩峰

    Abstract: 本发明提供一种基于非均匀持久内存访问的数据放置和线程调度方法,涉及数据库技术领域。该方法包括线程初始化阶段、事务计划阶段和事务执行阶段,利用共现矩阵记录在同一事务中访问多个表的频率,通过生成当前访问表的关系图和NUMA分区映射表,实现数据放置和调度线程绑定到特定的NUMA节点,将经常一起访问的表中包含的数据按相同的映射规则划分到不同NUMA节点。该方法在NUMA感知的数据和线程放置策略的基础上,结合事务处理过程中的数据访问模式,实现了事务级别的优化调度,减少了远程访问带来的开销,通过对事务共现矩阵的动态调整,能够灵活应对不同事务负载下的数据访问变化,使得系统具备更高的适应性和更优的整体性能。

    一种数据库处理方法及相关设备
    3.
    发明公开

    公开(公告)号:CN116414844A

    公开(公告)日:2023-07-11

    申请号:CN202111679433.0

    申请日:2021-12-31

    Abstract: 本申请实施例公开了一种数据库处理方法,该方法应用于数据库系统,数据库系统包括第一节点与第二节点,第一节点与第二节点分别部署有存储有相同数据的第一数据库与第二数据库,该方法包括:获取第一操作集合;向第二节点发送第一操作集合;接收第二节点发送的第二操作集合,第一操作集合与第二操作集合用于第二节点更新第二数据库;基于第一操作集合与第二操作集合更新第一数据库。通过数据库系统中的多个节点之间互相发送事务的操作集合,使得节点上数据库的更新考虑到其他数据库所提交的事务,从而保证多个数据库之间的更新同步。

    一种利用GPU加速密度峰聚类的方法

    公开(公告)号:CN112052879A

    公开(公告)日:2020-12-08

    申请号:CN202010811897.1

    申请日:2020-08-13

    Applicant: 东北大学

    Abstract: 本发明属于大数据处理领域,涉及一种利用GPU加速密度峰聚类的方法。本发明通过设计新的索引结构来减少距离矩阵的计算量,并利用GPU来加速索引的构建和近邻搜索,提高密度峰聚类算法中每个点的密度值和斥群值计算效率。本发明通过在GPU上构建制高点树索引,并行地计算每个数据点的密度值和斥群值,在用户选择完聚类中心后可以并行分配每个点所属的聚类,有效地减少了距离矩阵的计算量且节省储存空间。相较于传统的聚类方法,使用GPU加速的密度峰聚类方法能够更高效地完成聚类任务。

    一种基于深度强化学习的分级存储数据自适应迁移方法

    公开(公告)号:CN112051969B

    公开(公告)日:2021-10-08

    申请号:CN202010785961.3

    申请日:2020-08-07

    Applicant: 东北大学

    Abstract: 本发明属于大数据存储领域,涉及一种基于深度强化学习的分级存储数据自适应迁移方法。基于深度强化学习DQN模型的思路,结合分级存储系统的特点,定义了状态空间、动作空间、奖励值,设计实现了一种自适应数据迁移方法,数据块会根据该方法在全连接层神经网络的指导下做出迁移决策,最后由系统根据决策进行相应的数据迁移。本发明设计的自适应迁移算法提升了分级存储系统的吞吐量,并提供较低的延迟,充分利用了SSD存储设备的优势,减少了存储成本,提高了分级存储系统的数据访问性能。

    一种基于深度强化学习的分级存储数据自适应迁移方法

    公开(公告)号:CN112051969A

    公开(公告)日:2020-12-08

    申请号:CN202010785961.3

    申请日:2020-08-07

    Applicant: 东北大学

    Abstract: 本发明属于大数据存储领域,涉及一种基于深度强化学习的分级存储数据自适应迁移方法。基于深度强化学习DQN模型的思路,结合分级存储系统的特点,定义了状态空间、动作空间、奖励值,设计实现了一种自适应数据迁移方法,数据块会根据该方法在全连接层神经网络的指导下做出迁移决策,最后由系统根据决策进行相应的数据迁移。本发明设计的自适应迁移算法提升了分级存储系统的吞吐量,并提供较低的延迟,充分利用了SSD存储设备的优势,减少了存储成本,提高了分级存储系统的数据访问性能。

    一种无协调确定性的分布式事务原子性保证方法

    公开(公告)号:CN118227274A

    公开(公告)日:2024-06-21

    申请号:CN202410397118.6

    申请日:2024-04-03

    Applicant: 东北大学

    Abstract: 本发明公开一种无协调确定性的分布式事务原子性保证方法,涉及分布式数据库的事务处理领域。本发明针对于分布式数据分片数据库环境下的,以按照时间片划分的事务批处理,设计了一种无协调分布式事务原子性维护方法,因为无需额外的协调者,也就不存在单点瓶颈,每个节点身份对等,整个过程将会确定性地执行,每个批次结束后,系统会根据预定义的规则和广播的方式及时最终中止掉原子性被破坏的事务,仅写入可以提交的事务,对于基于事务批处理的数据分片架构的分布式数据库系统,解决了其跨分片节点的分布式事务的原子性保证问题,区别于传统以单个事务为粒度的2PC,可以在不引入协调者的要求下,通过确定性合并的方案来保证分布式事务的原子性。

    一种基于区块链技术的论文同行评审方法

    公开(公告)号:CN113032827B

    公开(公告)日:2023-09-19

    申请号:CN202110301703.8

    申请日:2021-03-22

    Applicant: 东北大学

    Abstract: 本发明属于大数据隐私保护领域,公开了一种基于区块链技术的论文同行评审方法。本发明首先基于盲签名和多方门限签名技术构建了审稿系统,将审稿结果以匿名的形式存储在区块链上。针对现有双盲机制的审稿人盗取投稿人论文中的想法(idea)后不可追溯的问题,本发明提供了一种基于可搜索加密技术的审查取证机制,保证在审稿人发表论文与其审核的论文相似的情况下,其审核论文的作者可对被怀疑的审稿人是否审查了此篇稿件进行取证,可搜索加密技术同时也保证了作者无法直接查询审稿人是谁,因此,在增加了取证功能的同时,双盲机制仍然有效。同时,本发明还采用了分布式密钥保证该权利不被滥用。

    一种支持跨节点自动微分的分布式图神经网络训练方法

    公开(公告)号:CN115186806A

    公开(公告)日:2022-10-14

    申请号:CN202210394310.0

    申请日:2022-04-06

    Applicant: 东北大学

    Abstract: 本发明提供了一种支持跨节点自动微分的分布式图神经网络训练方法,涉及分布式计算和深度学习领域;将图神经网络训练过程解耦成通信与计算两部分,并根据图神经网络正向和反向的计算特性,在正向计算中,每个节点从集群中收集邻居节点的信息,产生的中间变量将被缓存并用于反向计算中;在反向计算中,每个点基于前向传播的结果计算邻居节点的梯度并将结果发送给其邻居即本地或者远程机器;本发明解耦了通信与计算,并根据图神经网络正向和反向的计算特性,设计实现了synchronize‑compute和compute‑synchronize双模式计算引擎来灵活支持正向反向的计算,大大减小了设计难度,使用master‑mirror同步机制来支持高效的节点属性通信。

    一种适用于高并发事务的联盟链系统及其设计方法

    公开(公告)号:CN113419823A

    公开(公告)日:2021-09-21

    申请号:CN202110692495.9

    申请日:2021-06-22

    Applicant: 东北大学

    Abstract: 本发明提供一种适用于高并发事务的联盟链系统及其设计方法,涉及区块链技术领域。本系统包含多个组织,每一个组织都包含客户端代理、至少一个Peer节点;本发明设计了一个无协调节点的、支持高并发事务的联盟链系统。本发明提出的联盟链系统减小了共识带来的通信开销,并且在保证一致性的同时,增强事务的并发性,系统的性能得到了明显提升。同时,利用重排序算法优化了并发控制策略,增加了事务的提交成功率,很大程度上减少了无效事务的存储,节约了存储成本。此外,该系统是基于关系型数据库实现,支持SQL语句查询并且单独提供查询接口以实现复杂的查询功能和历史数据查询。

Patent Agency Ranking