一种面向元数据稀疏分布的LSM数据组织方法及装置

    公开(公告)号:CN118051643B

    公开(公告)日:2024-11-05

    申请号:CN202410203154.4

    申请日:2024-02-23

    Abstract: 本发明公开了一种面向元数据稀疏分布的LSM数据组织方法及装置。本发明使用动态分区组织排序字符串表,具体先对键值对数据的键名进行聚类分析得到键名群组,然后修剪键名群组形成键值对分区,将键值对数据刷写进对应的键值对分区内形成排序字符串表,各键值对分区独立进行合并排序操作,从而有效限制了元数据稀疏分布的排序字符串表的形成,进而大大减少参与合并排序过程的高层级排序字符串表数量,减少高层级排序字符串表反复参与合并排序操作的次数,检索键值对数据时,键值对分区进一步加快定位键值对数据,从而实现系统读写性能的提升。

    一种基于滑动窗口的LSM数据合并排序方法和装置

    公开(公告)号:CN118069891A

    公开(公告)日:2024-05-24

    申请号:CN202410261182.1

    申请日:2024-03-07

    Abstract: 本发明涉及一种基于滑动窗口的LSM数据合并排序方法和装置。本发明提出的方法首先构建面向合并操作中处于低层级的排序字符串表的滑动窗口,依据滑动窗口选定参与合并操作的低层级排序字符串表,同时获取滑动窗口左右最近的两个排序字符串表,并获取其键控范围,然后在处于高层级的排序字符串表中选择与低层级排序字符串表键控范围存在交集的排序字符串表并获取其键控范围,通过预估合并后排序字符串表的键控范围,并与滑动窗口左右最近的两个排序字符串表键控范围作比较,判定是否进行合并排序操作。本发明减少了处于高层级的排序字符串表反复参与低层级排序字符串表合并过程的次数,加快了合并排序速率,提升了系统读写性能。

    一种支持全局复杂检索的跨地域查询方法及系统

    公开(公告)号:CN107220363B

    公开(公告)日:2020-09-22

    申请号:CN201710422561.4

    申请日:2017-06-07

    Abstract: 本发明涉及一种支持全局复杂检索的跨地域查询方法及系统。该方法包括:1)建立用于跨地域查询的全局元数据组织结构,其包括全局视图以及全局视图与各数据中心的数据表的映射关系;2)根据各数据中心的数据表的结构调整,动态调整全局视图与各数据中心的数据表的映射关系;3)解析用户的查询请求,根据全局元数据组织结构将查询任务下发至各数据中心执行查询,各数据中心将查询结果反馈至全局点;4)全局点将各数据中心返回的查询结果进行汇总,并将汇总后的数据展示给用户,从而实现跨地域查询。本发明能够提高对各数据中心大数据的综合分析能力,在大数据处理领域具有很强的实用性和应用范围,具有广阔的应用前景。

    一种面向元数据稀疏分布的LSM数据组织方法及装置

    公开(公告)号:CN118051643A

    公开(公告)日:2024-05-17

    申请号:CN202410203154.4

    申请日:2024-02-23

    Abstract: 本发明公开了一种面向元数据稀疏分布的LSM数据组织方法及装置。本发明使用动态分区组织排序字符串表,具体先对键值对数据的键名进行聚类分析得到键名群组,然后修剪键名群组形成键值对分区,将键值对数据刷写进对应的键值对分区内形成排序字符串表,各键值对分区独立进行合并排序操作,从而有效限制了元数据稀疏分布的排序字符串表的形成,进而大大减少参与合并排序过程的高层级排序字符串表数量,减少高层级排序字符串表反复参与合并排序操作的次数,检索键值对数据时,键值对分区进一步加快定位键值对数据,从而实现系统读写性能的提升。

    一种支持多模态数据弱监督分类的方法和系统

    公开(公告)号:CN117349694A

    公开(公告)日:2024-01-05

    申请号:CN202311097475.2

    申请日:2023-08-29

    Abstract: 本发明涉及一种支持多模态数据弱监督分类的方法和系统。该方法包括:对图像、文本分别进行特征抽取,获得图像特征、文本特征,对图像特征、文本特征进行特征融合,获得融合特征;将图像特征、文本特征和融合特征输入基于Mixmatch的多模态弱监督分类模型中进行分类;将基于Mixmatch的多模态弱监督分类模型得到的分类结果放入分类器中获取最终的分类结果。本发明实现了一种充分利用少量有标注的多模态数据与大量无标注的多模态数据的分类方案,能够解决多模态数据标注稀缺的问题,提高对互联网中多种模态数据的利用率,在互联网数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。

    一种支持全局复杂检索的跨地域查询方法及系统

    公开(公告)号:CN107220363A

    公开(公告)日:2017-09-29

    申请号:CN201710422561.4

    申请日:2017-06-07

    CPC classification number: G06F16/2282 G06F16/2471

    Abstract: 本发明涉及一种支持全局复杂检索的跨地域查询方法及系统。该方法包括:1)建立用于跨地域查询的全局元数据组织结构,其包括全局视图以及全局视图与各数据中心的数据表的映射关系;2)根据各数据中心的数据表的结构调整,动态调整全局视图与各数据中心的数据表的映射关系;3)解析用户的查询请求,根据全局元数据组织结构将查询任务下发至各数据中心执行查询,各数据中心将查询结果反馈至全局点;4)全局点将各数据中心返回的查询结果进行汇总,并将汇总后的数据展示给用户,从而实现跨地域查询。本发明能够提高对各数据中心大数据的综合分析能力,在大数据处理领域具有很强的实用性和应用范围,具有广阔的应用前景。

    基于多尺度滑动窗口与动态聚合的对话级情感分析方法

    公开(公告)号:CN118132710B

    公开(公告)日:2025-01-24

    申请号:CN202410273102.4

    申请日:2024-03-11

    Abstract: 本发明提出了一种基于多尺度滑动窗口与动态聚合的对话级情感分析方法,涉及自然语言处理领域。本方法首先对评论对话构造对话树,通过滑动窗口构造多尺度话语窗口;然后利用预训练语言模型编码多尺度话语窗口;再基于对话情感预测模型根据编码的多尺度话语窗口特征表示进行预测,生成多尺度话语窗口预测结果并进行动态聚合;利用多任务学习,构造窗口级、线程级和对话级损失函数,训练优化对话情感预测模型。本方法在无需设计复杂网络的情况下提高在由多轮对话情感分析的预测效果。

    一种基于快速傅里叶变换和可学习滤波器的联邦推荐方法

    公开(公告)号:CN115409204A

    公开(公告)日:2022-11-29

    申请号:CN202210884125.X

    申请日:2022-07-26

    Abstract: 本发明公开了一种基于快速傅里叶变换和可学习滤波器的联邦推荐方法。本方法为:服务器选取多个客户端,并将全局模型发送至每一所选客户端;各客户端分别利用本地数据集对全局模型进行训练更新;服务器收集各客户端计算的模型参数并进行平均,获取本轮更新后的全局模型,并进行下一轮次的训练。客户端的本地模型训练:1)根据用户的交互项目序列生成嵌入矩阵;2)将嵌入矩阵进行快速傅里叶变换至频域;3)将上述结果乘以一个滤波器来调制频域,再快速傅里叶逆变换将其变回时域后输入前馈神经网络,得到用户兴趣表示;4)基于用户兴趣表示与嵌入矩阵计算用户对各项目的偏好分数;5)根据所述偏好分数对各项目进行排序,得到项目推荐结果。

    一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质

    公开(公告)号:CN107491487B

    公开(公告)日:2020-12-04

    申请号:CN201710582509.5

    申请日:2017-07-17

    Abstract: 本发明公开了一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质。本发明的全文数据库架构包括:数据模块,用于记录全文数据库的数据库表名及其索引字段信息;存储模块,包括若干独立的数据块,用于存储数据库表的数据和索引信息;加载模块,用于根据元数据模块中的索引信息将各所述数据库表的数据加载到所述数据块,当一数据块写满时,则将该数据块标记为稳态;索引创建模块,用于对于标记为稳态数据块,生成该数据块的索引;查询模块,用于根据查询语句在所述元数据模块中进行查找,如果找到匹配的索引字段,则查找各数据块的索引,然后根据数据块的索引判断该数据块是否满足查询条件。本发明大大提高了查询速度和数据库吞吐率。

Patent Agency Ranking