一种基于多树转换机制的键值存储方法

    公开(公告)号:CN114996275B

    公开(公告)日:2024-08-16

    申请号:CN202210711424.3

    申请日:2022-06-22

    Applicant: 华侨大学

    Abstract: 本发明提出一种基于多树转换机制的键值存储方法,具体包括:对于写入的键值数据,首先保存至写入跳表,当大小达到限制后,转换为只读跳表插入至内存设备中的B+树;当B+树大小达到一定限制时,根据热度策略遍历键值数据,将热度低的键值数据持久化至外存设备中的冷树0层;若冷树0层中的键值数据文件数量达到大小限制,则触发0层分区操作;当B+树中的键值数据执行持久化操作时,0层分区只接收符合设定范围的键值数据;若冷树中特定范围内的键值数据达到一定热度时,则转移至外存设备的热树中;同时热树中低热度的键值数据将转移至冷树中。本发明提供的方法使用热度策略减少读放大的同时,保证写入性能,实现键值存储系统性能的整体提升。

    基于时空特性的车牌识别数据分布式存储索引方法及系统

    公开(公告)号:CN118312474B

    公开(公告)日:2024-08-09

    申请号:CN202410726240.3

    申请日:2024-06-06

    Applicant: 华侨大学

    Abstract: 本发明一种基于时空特性的车牌识别数据分布式存储索引方法及系统,涉及计算机存储领域。在存储优化方面,采用了统一的空间分区计划,并根据自动车牌识别数据的空间密度分布选择适当的空间分区策略,以确保数据在存储过程中的高效性和一致性;在索引优化方面,利用最小边界矩形和Z曲线编码作为时空分区的空间索引,提高了时空查询操作的性能和响应速度。通过这些优化措施,本发明不仅能够更加高效地处理和管理车牌识别数据,还能为用户提供更快速、准确的查询服务,从而满足了现代大数据环境下对高性能分布式存储索引的需求。

    分布式键值存储系统的存储节点层间合并方法及装置

    公开(公告)号:CN118277344B

    公开(公告)日:2024-08-09

    申请号:CN202410713361.4

    申请日:2024-06-04

    Applicant: 华侨大学

    Abstract: 本发明公开了一种分布式键值存储系统的存储节点层间合并方法及装置,涉及数据存储领域,包括:当获取到分布式键值存储系统的层间合并的操作指令,则判断层间合并的类型;若层间合并的类型为跨层级的层间合并,则采用负载均衡策略确定待执行层间合并操作的存储节点,在待执行层间合并操作的存储节点上读取到需进行层间合并的键值文件数据并进行层间合并操作,当层间合并操作完成后,待执行层间合并操作的存储节点将执行结果返回给主节点,并更新分布式键值存储系统的元数据信息;若层间合并的类型为同层级的层间合并,则在主节点上执行层间合并操作,本发明解决现有层间合并操作数据传输量大,数据写入效率低等问题。

    基于时空特性的车牌识别数据分布式存储索引方法及系统

    公开(公告)号:CN118312474A

    公开(公告)日:2024-07-09

    申请号:CN202410726240.3

    申请日:2024-06-06

    Applicant: 华侨大学

    Abstract: 本发明一种基于时空特性的车牌识别数据分布式存储索引方法及系统,涉及计算机存储领域。在存储优化方面,采用了统一的空间分区计划,并根据自动车牌识别数据的空间密度分布选择适当的空间分区策略,以确保数据在存储过程中的高效性和一致性;在索引优化方面,利用最小边界矩形和Z曲线编码作为时空分区的空间索引,提高了时空查询操作的性能和响应速度。通过这些优化措施,本发明不仅能够更加高效地处理和管理车牌识别数据,还能为用户提供更快速、准确的查询服务,从而满足了现代大数据环境下对高性能分布式存储索引的需求。

    一种出租车数据集清洗构建方法、装置、设备及介质

    公开(公告)号:CN116991834A

    公开(公告)日:2023-11-03

    申请号:CN202310957886.8

    申请日:2023-08-01

    Applicant: 华侨大学

    Abstract: 本发明提供了一种出租车数据集清洗构建方法、装置、设备及介质,首先,该方法通过限定了研究区域在城市的中心区域,从而避免因交通流采样点较少而带来的误差;接着,进行了数据清洗工作,清除缺失关键值数据、清除冗余数据、清除超速数据和清除停运状态数据;最后,进行数据筛选工作,通过网格划分的方式构建了城市区域出租车需求数据集,通过地图匹配纠正了GPS轨迹点的偏差,并基于路网结构构建了城市道路交通流数据集。其通过充分考虑出租车数据集中的时空分布特性,提出相应地处理流程,从而实现快速且准确地构建城市区域出租车需求数据集和城市道路交通流数据集,为城市区域出租车需求预测工作和城市道路交通流预测工作提供了数据支撑。

    一种基于热点汇集的地址转换方法和数据存储装置

    公开(公告)号:CN113076267B

    公开(公告)日:2023-05-26

    申请号:CN202110475494.9

    申请日:2021-04-29

    Applicant: 华侨大学

    Abstract: 一种基于热点汇集的地址转换方法和数据存储装置,具体包括如下步骤:1)FTL根据下发的请求的逻辑页号,在缓存中查找地址映射表相应的表项,若存在目标映射项,则进入4),若不存在,则进入2);2)逐个检查动态转换页索引去判断目标映射项是否存在于相应的动态转换页中,若是,则通过读取相应的动态转换页获取目标映射项,加载这个动态转换页中所有映射项到缓存,进入4),否则,映射项在一个静态转换页中,进入3);3)通过DFTL采取常规程序,查询全局转换字典获取包含目标映射项的静态转换页,读取静态转换页后,只加载请求的目标映射项到缓存中,丢弃剩余的项,进入4);4)获取逻辑页号对应的物理页号,执行请求。本发明提高了缓存命中率,实现更加高效的地址转换,从而提高固态硬盘的访问性能。

    一种非抢占固定优先级混合关键任务能耗优化调度方法

    公开(公告)号:CN112486652B

    公开(公告)日:2023-05-26

    申请号:CN202011380029.9

    申请日:2020-11-30

    Applicant: 华侨大学

    Abstract: 本发明涉及一种非抢占固定优先级混合关键任务能耗优化调度方法,包括以下步骤:建立非抢占固定优先级混合关键任务调度模型;给出系统处于低模式下调度可行的充分条件;给出系统处于高模式下调度可行的充分条件;给出系统处于转换模式调度可行的充分条件;由调度可行的充分条件,计算能耗优化的速度Sop。本发明与现有技术的混合关键系统周期任务调度方法相比,能够节约大约33.08%能耗;能够确保周期任务在其截止期限内完成执行;混合关键系统能耗的降低,可以降低产品的生产成本,延长设备的使用时间,减少电池的更换周期。

    一种基于高速缓存感知的垃圾回收方法、设备及存储介质

    公开(公告)号:CN112148631A

    公开(公告)日:2020-12-29

    申请号:CN202011025007.0

    申请日:2020-09-25

    Applicant: 华侨大学

    Abstract: 本发明提供一种基于高速缓存感知的垃圾回收方法、设备及存储介质,其中方法包括:垃圾回收操作开始时,固态硬盘会扫描所有物理块和高速缓存,得到每块物理块内包含有效页的数量以及每块物理块保存在高速缓存中的有效页的数量;将每块物理块的有效页数量减去每个物理块保存在高速缓存中的有效页数量,得到每块物理块真正需要移动的有效页的数量;选择上述数值最小的物理块作为垃圾回收的目标块;针对该目标块,开始扫描每一个物理页;并采用高速缓存一致性方法,完成目标块的没有保存在高速缓存中的所有有效页移动,即完成一次垃圾回收操作;本发明提供的方法,能够取得更少的有效页移动,获得良好的性能。

    面向Cassandra分布式键值存储系统的数据范围查询方法及装置

    公开(公告)号:CN119862209A

    公开(公告)日:2025-04-22

    申请号:CN202510346080.4

    申请日:2025-03-24

    Applicant: 华侨大学

    Abstract: 本发明公开了一种面向Cassandra分布式键值存储系统的数据范围查询方法及装置,涉及数据查询领域,该方法根据键前缀将具有相同键前缀的键值对进行分组,实现高效的分组分区策略。在执行范围查询时,依据查询范围精准确定所需访问的分组数,并采用分批调度策略发送查询请求。查询过程中,根据每次返回的查询结果,动态调整后续下一轮次的分组数,从而优化数据访问效率。本发明有效减少了Cassandra传统范围查询中无效数据的读取,解决了Cassandra范围查询性能低下的问题。

    一种应用于LSM树结构的提前Compaction方法及系统

    公开(公告)号:CN119861880A

    公开(公告)日:2025-04-22

    申请号:CN202510346074.9

    申请日:2025-03-24

    Applicant: 华侨大学

    Abstract: 本发明公开了一种应用于LSM树结构的提前Compaction方法及系统,涉及计算机存储技术领域,方法包括以下步骤:当LSM树的第i层Li存放的数据量达到其阈值后,触发Compaction操作;选择第i+1层Li+1中与Li层中后续要执行的多个连续Compaction操作的SSTable提前到第一个Compaction操作同时进行;将所有的Compaction操作任务放到任务队列中;根据SSTable的键范围重叠情况进行判断和处理,最后通过合并成一个大的Compaction操作或是直接修改层级元数据来完成SSTable从Li层移动到Li+1层的工作。本发明提出了一种提前Compaction的模型,有效的缓解了连续Compaction操作过程中由于范围重叠带来的额外读写放大问题。同时添加了文件粒度流水线方案来优化所提出的提前Compaction模型,实现对基于LSM树存储系统的优化。

Patent Agency Ranking