一种访存性能优化的车辆相似轨迹查询方法

    公开(公告)号:CN118312478B

    公开(公告)日:2024-08-09

    申请号:CN202410733786.1

    申请日:2024-06-07

    Applicant: 华侨大学

    Abstract: 本发明一种访存性能优化的车辆相似轨迹查询方法,涉及计算机存储领域,包括数据预处理阶段、点伴随车对计算及判定阶段和车辆轨迹相似度计算阶段;在第一阶段,输出去除无用信息后的数据集,存储至HDFS中,作为第二阶段的输入;在第二阶段,将点伴随车对划分为有效伴随车对或偶然伴随车对,输出有效伴随车对数据集,存储至HDFS中,作为第三阶段的输入;在第三阶段,统计每个有效伴随车对的伴随次数,计算有效伴随车对轨迹相似度,框架输出相似度大于阈值的车对数据集,存储至HDFS中。本发明能够减少第二阶段生成的中间数据量,有效降低磁盘空间占用与第三阶段输入的数据量,加快伴随次数统计和轨迹相似度计算,实现相似轨迹查询性能的提升。

    一种访存性能优化的车辆相似轨迹查询方法

    公开(公告)号:CN118312478A

    公开(公告)日:2024-07-09

    申请号:CN202410733786.1

    申请日:2024-06-07

    Applicant: 华侨大学

    Abstract: 本发明一种访存性能优化的车辆相似轨迹查询方法,涉及计算机存储领域,包括数据预处理阶段、点伴随车对计算及判定阶段和车辆轨迹相似度计算阶段;在第一阶段,输出去除无用信息后的数据集,存储至HDFS中,作为第二阶段的输入;在第二阶段,将点伴随车对划分为有效伴随车对或偶然伴随车对,输出有效伴随车对数据集,存储至HDFS中,作为第三阶段的输入;在第三阶段,统计每个有效伴随车对的伴随次数,计算有效伴随车对轨迹相似度,框架输出相似度大于阈值的车对数据集,存储至HDFS中。本发明能够减少第二阶段生成的中间数据量,有效降低磁盘空间占用与第三阶段输入的数据量,加快伴随次数统计和轨迹相似度计算,实现相似轨迹查询性能的提升。

    基于Rime应用特征的键值存储层间合并优化方法及装置

    公开(公告)号:CN119960703A

    公开(公告)日:2025-05-09

    申请号:CN202510443647.X

    申请日:2025-04-10

    Applicant: 华侨大学

    Abstract: 一种基于Rime应用特征的键值存储层间合并优化方法及装置,涉及计算机存储领域,包括:对于查找操作,依据用户输入的拼音为键前缀在用户数据库中依次查找数据,直到找到目标数据;若读取到目标数据,更新键值对缓冲区并记录SST文件的读取次数;当用户选择汉字/词语时,通过拼音和汉字/词语构成的完整键,依次查询键值对缓冲区和用户数据库,直到找到目标数据;对于写入操作,数据首先存入可写内存表中,达到阈值后转为只读内存表并以SST文件形式写入磁盘,写入SST文件后,检查层级大小,超出限制时触发层间合并操作,合并过程中依据键前缀分割SST文件,并当新SST文件写入时,检查SST文件冷热记录表,优先合并热范围数据,确保数据有序性。

    基于内存表索引与迭代器缩减机制的键值存储及读写方法

    公开(公告)号:CN118092812A

    公开(公告)日:2024-05-28

    申请号:CN202410468038.5

    申请日:2024-04-18

    Applicant: 华侨大学

    Abstract: 本发明一种基于内存表索引与迭代器缩减机制的键值存储及读写方法,涉及计算机存储领域,包括:对于写入的键值对,保存在可写内存表中,当可写内存表大小达到设定的限制时,将可写内存表转换为只读内存表;当只读内存表需要写入磁盘时,将只读内存表临时保存至内存表索引池中;生成一个标识SST文件,并将其写入到磁盘中的L0层;只读内存表与标识SST文件间的一一对应关系通过映射关系表记录;当发生层间合并操作时,检查L1‑L6层的键范围映射表中记录的层级信息是否需要更新。本发明对L0层文件执行读写请求时无需进行磁盘I/O,通过设计键范围映射表结构,减少了范围查找过程中迭代器的构建数量,从而提升键值存储的读写性能,实现键值存储读写性能的提升。

    基于内存表索引与迭代器缩减机制的键值存储及读写方法

    公开(公告)号:CN118092812B

    公开(公告)日:2024-06-25

    申请号:CN202410468038.5

    申请日:2024-04-18

    Applicant: 华侨大学

    Abstract: 本发明一种基于内存表索引与迭代器缩减机制的键值存储及读写方法,涉及计算机存储领域,包括:对于写入的键值对,保存在可写内存表中,当可写内存表大小达到设定的限制时,将可写内存表转换为只读内存表;当只读内存表需要写入磁盘时,将只读内存表临时保存至内存表索引池中;生成一个标识SST文件,并将其写入到磁盘中的L0层;只读内存表与标识SST文件间的一一对应关系通过映射关系表记录;当发生层间合并操作时,检查L1‑L6层的键范围映射表中记录的层级信息是否需要更新。本发明对L0层文件执行读写请求时无需进行磁盘I/O,通过设计键范围映射表结构,减少了范围查找过程中迭代器的构建数量,从而提升键值存储的读写性能,实现键值存储读写性能的提升。

    基于Caffe应用特征的键值存储和数据预取方法

    公开(公告)号:CN119937935A

    公开(公告)日:2025-05-06

    申请号:CN202510425804.4

    申请日:2025-04-07

    Applicant: 华侨大学

    Abstract: 一种基于Caffe应用特征的键值存储和数据预取方法,涉及计算机存储领域,包括:根据不同的存储设备的带宽大小设置SST文件中的数据块大小;当图像数据写入键值存储系统时,将图像数据转换为键值对并保存在内存表中;若内存表容量达到预设阈值,则将图像数据转化为不可变内存表并刷新到磁盘,组织成SST文件;其中,每个SST文件中包含多个数据块用于存储键值对数据;当执行数据预取操作时,将读取的磁盘I/O单位大小与存储设备的带宽匹配;同时,在图像分辨率大于预设分辨率时采用一个线程负责读取和解析键值对另一个线程执行数据格式转换的双线程并行执行策略;在读取键值对时,采用全局乱序读取机制。本发明提高数了数据预取效率及模型的测试精度。

Patent Agency Ranking