-
公开(公告)号:CN119961267A
公开(公告)日:2025-05-09
申请号:CN202510428250.3
申请日:2025-04-08
Applicant: 华侨大学
IPC: G06F16/22 , G06F16/2453 , G06F16/27
Abstract: 本发明公开了一种基于区间树分层的Cassandra键值存储系统的数据处理方法及装置,涉及数据存储领域,该方法通过对外存层和区间树进行层次化设计,根据LSM树的层级特点,将外存层分为低层级外存层和高层级外存层,并将区间树对应划分为低层级区间树和高层级区间树。针对低层级外存层频繁变动的数据,构建低层级区间树以实现快速响应;对于高层级外存层相对稳定的数据,则构建高层级区间树,实现高效的数据管理与查询。采用自适应构建策略,在每次数据写入时,优先对原有区间树进行增量更新,仅在区间树出现不平衡状态时才触发重建,减少不必要的计算开销。本发明解决了Cassandra在高频读写场景下因区间树频繁重建所带来的性能损耗高,整体读取与存储效率低的问题。
-
公开(公告)号:CN118312515B
公开(公告)日:2024-09-24
申请号:CN202410726237.1
申请日:2024-06-06
Applicant: 华侨大学
IPC: G06F16/22 , G06F12/02 , G06F18/243
Abstract: 本发明一种应用于WiscKey的协同无效键值对确认方法及垃圾回收方法,涉及计算机存储领域,协同无效键值对确认方法包括:如果在哈希表中查找到值偏移地址,并且它与键值对所在的地址相等,则这个键值对为新版本,即有效数据;如果在哈希表中查找到值偏移地址,但是它与键值对所在的地址不相等,则这个键值对为旧版本,即无效数据;如果在哈希表中查找不到值偏移地址,且比特数组中对应位为1,则这个键值对为有效数据;如果在哈希表中查找不到值偏移地址,且比特数组中对应位为0,则这个键值对为无效数。本发明方法无须访问外存,并能有效控制内存占用,实现了低时间开销和低空间开销的垃圾回收操作。
-
公开(公告)号:CN118312478B
公开(公告)日:2024-08-09
申请号:CN202410733786.1
申请日:2024-06-07
Applicant: 华侨大学
IPC: G06F16/14 , G06F12/02 , G06F16/174 , G06F16/182
Abstract: 本发明一种访存性能优化的车辆相似轨迹查询方法,涉及计算机存储领域,包括数据预处理阶段、点伴随车对计算及判定阶段和车辆轨迹相似度计算阶段;在第一阶段,输出去除无用信息后的数据集,存储至HDFS中,作为第二阶段的输入;在第二阶段,将点伴随车对划分为有效伴随车对或偶然伴随车对,输出有效伴随车对数据集,存储至HDFS中,作为第三阶段的输入;在第三阶段,统计每个有效伴随车对的伴随次数,计算有效伴随车对轨迹相似度,框架输出相似度大于阈值的车对数据集,存储至HDFS中。本发明能够减少第二阶段生成的中间数据量,有效降低磁盘空间占用与第三阶段输入的数据量,加快伴随次数统计和轨迹相似度计算,实现相似轨迹查询性能的提升。
-
公开(公告)号:CN118277392B
公开(公告)日:2024-08-09
申请号:CN202410711976.3
申请日:2024-06-04
Applicant: 华侨大学
Abstract: 本发明公开了一种基于键值分离的键值存储系统优化方法及装置,涉及计算机存储领域,方法包括:在内存中划分键存储空间和值存储空间,键存储空间通过LSM‑Tree结构管理,刷写方向为从下往上;值存储空间由若干段组组成,段组通过键范围进行分组;在内存中建立分组表记录每个分组的键范围和分组号,建立段组表记录每个分组所包含的段组的段组号;根据写请求键所属键范围选择分组并将键值索引存储到LSM‑Tree结构中,在LSM‑Tree结构中选择与写请求键所属键范围无范围重叠的层级刷写Immutable MemTable。本发明改变LSM‑Tree刷写顺序,减少频繁触发compaction操作带来的读写放大;通过LSM‑Tree范围查询筛选出过期段组,提高垃圾回收效率。
-
公开(公告)号:CN118312478A
公开(公告)日:2024-07-09
申请号:CN202410733786.1
申请日:2024-06-07
Applicant: 华侨大学
IPC: G06F16/14 , G06F12/02 , G06F16/174 , G06F16/182
Abstract: 本发明一种访存性能优化的车辆相似轨迹查询方法,涉及计算机存储领域,包括数据预处理阶段、点伴随车对计算及判定阶段和车辆轨迹相似度计算阶段;在第一阶段,输出去除无用信息后的数据集,存储至HDFS中,作为第二阶段的输入;在第二阶段,将点伴随车对划分为有效伴随车对或偶然伴随车对,输出有效伴随车对数据集,存储至HDFS中,作为第三阶段的输入;在第三阶段,统计每个有效伴随车对的伴随次数,计算有效伴随车对轨迹相似度,框架输出相似度大于阈值的车对数据集,存储至HDFS中。本发明能够减少第二阶段生成的中间数据量,有效降低磁盘空间占用与第三阶段输入的数据量,加快伴随次数统计和轨迹相似度计算,实现相似轨迹查询性能的提升。
-
公开(公告)号:CN117593045A
公开(公告)日:2024-02-23
申请号:CN202410077832.7
申请日:2024-01-19
Applicant: 华侨大学 , 厦门清淼智能科技有限公司
IPC: G06Q30/0202 , G06N3/0455 , G06N3/0464 , G06N3/0442 , G06F18/15 , G06F18/25 , G06N3/048
Abstract: 本发明提供了一种商用车辆需求预测方法、装置、设备及存储介质,包括:构建商用车辆历史需求特征矩阵;将历史需求特征矩阵输入经过训练的商用车辆需求预测模型后,输出对应的商用车辆未来需求预测值;模型的网络结构在编码器解码器架构的基础上进行改进;在每一层编码器层中,数据从三维卷积层输入后,三维卷积层的输出经过残差连接和层归一化后输出至下一层编码器层;在每一层解码器层中,数据从多个扩张感知长短期单元并行输入后,所有扩张感知长短期单元的输出共同经过残差连接和层归一化后输出至下一层解码器层。通过充分挖掘商用车辆需求数据中的时空特性,能够快速、准确地对目标区域商用车辆的需求进行预测。
-
公开(公告)号:CN116910314A
公开(公告)日:2023-10-20
申请号:CN202310833068.7
申请日:2023-07-07
Applicant: 华侨大学
IPC: G06F16/901 , G06F16/242 , G06F16/22 , G06F16/2453
Abstract: 本发明公开了一种基于键值分离的键值存储系统中范围查询优化方法及装置,将键存储在LSM‑Tree中,获取在SSTable文件中点查询或范围查询的查询结果,根据查询结果动态调整阈值allowed_seeks,根据阈值allowed_seeks确定是否触发Seek Compaction;将值存储在值存储空间,将值存储空间按键范围进行分组,并记录每个分组的访问频率,确定每个分组的访问热度,根据每个分组内的有效键值对数量、键值对数量和访问热度计算出每个分组的分数值,按分数值通过大顶堆进行排序;选择大顶堆的堆顶元素所属的分组进行GC;在GC之后,根据分组的访问热度对分组进行自适应动态调整,调整包括合并、分裂或维持不变。本发明能够适应不同的工作负载,显著提高在范围查询上的性能,提供更快速、更可靠的查询结果。
-
公开(公告)号:CN111159686B
公开(公告)日:2022-06-07
申请号:CN201911233815.3
申请日:2019-12-05
Applicant: 华侨大学
IPC: G06F21/36 , G06F40/289 , G06F40/216 , G06F40/211
Abstract: 提出一种基于自然语言处理的人机验证方法和系统,通过若干方法获取用于进行人机验证的中文/英文语料;利用现有的语料库单词转换为多维词向量来分析单词与单词之间的关系,挖掘语料库中单词的联系;利用现有的一部分语料库凭借词向量构建人机验证模型;将用户输入的验证答案输入模型进行判断;将人类输入结果作为标签、训练集进行交叉验证,进行训练合并至原有验证集。基于自然语言处理的人机验证系统及方法对用户进行人机验证,降低互联网受到恶意攻击的风险,可用于登陆、注册等网络场景下对用户进行人机验证并生成自然语言训练语料集。
-
公开(公告)号:CN111159686A
公开(公告)日:2020-05-15
申请号:CN201911233815.3
申请日:2019-12-05
Applicant: 华侨大学
IPC: G06F21/36 , G06F40/289 , G06F40/216 , G06F40/211
Abstract: 提出一种基于自然语言处理的人机验证方法和系统,通过若干方法获取用于进行人机验证的中文/英文语料;利用现有的语料库单词转换为多维词向量来分析单词与单词之间的关系,挖掘语料库中单词的联系;利用现有的一部分语料库凭借词向量构建人机验证模型;将用户输入的验证答案输入模型进行判断;将人类输入结果作为标签、训练集进行交叉验证,进行训练合并至原有验证集。基于自然语言处理的人机验证系统及方法对用户进行人机验证,降低互联网受到恶意攻击的风险,可用于登陆、注册等网络场景下对用户进行人机验证并生成自然语言训练语料集。
-
公开(公告)号:CN118312515A
公开(公告)日:2024-07-09
申请号:CN202410726237.1
申请日:2024-06-06
Applicant: 华侨大学
IPC: G06F16/22 , G06F12/02 , G06F18/243
Abstract: 本发明一种应用于WiscKey的协同无效键值对确认方法及垃圾回收方法,涉及计算机存储领域,协同无效键值对确认方法包括:如果在哈希表中查找到值偏移地址,并且它与键值对所在的地址相等,则这个键值对为新版本,即有效数据;如果在哈希表中查找到值偏移地址,但是它与键值对所在的地址不相等,则这个键值对为旧版本,即无效数据;如果在哈希表中查找不到值偏移地址,且比特数组中对应位为1,则这个键值对为有效数据;如果在哈希表中查找不到值偏移地址,且比特数组中对应位为0,则这个键值对为无效数。本发明方法无须访问外存,并能有效控制内存占用,实现了低时间开销和低空间开销的垃圾回收操作。
-
-
-
-
-
-
-
-
-