一种数据处理的方法和设备
    81.
    发明公开

    公开(公告)号:CN116974710A

    公开(公告)日:2023-10-31

    申请号:CN202210422903.3

    申请日:2022-04-21

    Abstract: 本申请实施例公开了一种数据处理的方法和设备,用于提升机器学习算法的计算效率。本申请实施例方法包括:获取有向无环图DAG,DAG携带计算节点和计算节点的输入和输出数据;获取计算节点的预测执行时间;根据DAG和预测执行时间生成事件时间轴;根据事件时间轴对目标数据进行第一调度和第二调度,第一调度指示在第一时刻卸载目标数据,第二调度指示在第二时刻预取目标数据,目标数据为计算节点的输入或输出数据,目标数据为未被调度过的数据,第一时刻至目标数据的下一次访问事件开始时刻大于完成一次目标数据的卸载和预取所需的时长,第二时刻至目标数据的下一次访问事件开始时刻大于完成一次目标数据的预取所需的时长。

    基于结构化数据的深度学习架构搜索方法

    公开(公告)号:CN113379068B

    公开(公告)日:2023-08-08

    申请号:CN202110730220.X

    申请日:2021-06-29

    Abstract: 基于结构化数据的深度学习架构搜索方法,属于人工智能技术领域,本发明为解决现有结构化数据的架构搜索方法的搜索空间不足、前置信息易丢失的问题。它包括:采用递归神经网络生成编码,根据编码确定唯一的深度神经网络模型;在结构化数据集上训练深度神经网络模型;根据训练结果,更新递归神经网络;采用深度神经网络模型对搜索空间进行搜索,采用蒙特卡洛策略梯度更新搜索策略,获得最优架构。本发明用于深度学习的架构搜索。

    机器学习模型超参数的调优方法

    公开(公告)号:CN111553482B

    公开(公告)日:2023-08-08

    申请号:CN202010276428.4

    申请日:2020-04-09

    Inventor: 王宏志 王春楠

    Abstract: 机器学习模型超参数的调优方法,本发明涉及超参数的调优方法。本发明的目的是为了解决现有超参数优化调优方法准确率低、效率慢,费用高的问题。过程为:一、构建已知经验信息;从ΛPN中随机选取N/2个超参数配置进行评估,并将评估信息存入ExpInfo中;二、将已知经验信息转化为分类数据集;三、从所有超参数中挑选出关键超参数;四、利用KeyPars推测出Num组最优超参数配置;五、评估ExpNew中的超参数配置并更新已知经验信息;六、重复执行二至五t次,最后输出已知经验信息中最佳的超参数配置推荐给用户。本发明用于超参数的调优领域。

    多规则协同的数据清洗系统、存储介质及设备

    公开(公告)号:CN116451023A

    公开(公告)日:2023-07-18

    申请号:CN202310386774.1

    申请日:2023-04-12

    Abstract: 多规则协同的数据清洗系统、存储介质及设备,涉及计算机数据处理领域。本发明是为了解决现有的数据清洗方法还存在由于逻辑冲突频发和错误率高而导致的难以实现自动数据清洗的问题。本发明包括:规则存储单元:存储修复规则;规则修改单元:修改修复规则;规则冲突检测单元:检测正在计算顺序的规则是否发生冲突;规则修复单元:修复冲突的规则;规则顺序计算单元:计算规则顺序;错误数据检测单元:判断数据错误的原因并推荐修复方式;错误数据修复单元:按照推荐的修复方式和规则顺序对错误数据进行修复;约束修改单元:采用推荐的修复方式修复数据,并将修复方式发送给规则库模块。本发明用于数据清洗。

    基于电网人工智能仿真分析的知识表示方法及驱动系统

    公开(公告)号:CN115659608A

    公开(公告)日:2023-01-31

    申请号:CN202211230433.7

    申请日:2022-10-08

    Abstract: 基于电网人工智能仿真分析的知识表示方法及驱动系统,涉及电力仿真分析领域。本发明是为了解决目前的电网分析的方法还存在知识表示困难导致构建知识驱动模型困难,以及人工参与度高的问题。本发明包括:对电网当前状态和需要对电网修改的操作进行定义;对电网数字仿真分析知识进行知识表示;基于电网人工智能仿真分析的知识驱动系统包括:特征识别模块:读取电网数据文件,判断电网数据文件是否满足知识图谱中的特征节点本文表达式;状态查询与匹配模块:接收特征集判断当前电网状态;动作查询模块:匹配电网状态与动作,匹配到的动作构成状态动作集;动作执行模块:对电网数据文件中的参数进行修改。本发明用于对电网进行知识表示以及数据修改。

    时序数据库自适应有损压缩方法、系统及介质

    公开(公告)号:CN114665884B

    公开(公告)日:2022-11-25

    申请号:CN202210318623.8

    申请日:2022-03-29

    Abstract: 时序数据库自适应有损压缩方法、系统及介质,涉及计算机技术领域,针对现有技术中缺少提高数据压缩比的方法的问题,本申请自适应用户的压缩精度需求。用户可以确定压缩精度,通过存储数据段的基和部分偏差来确保压缩在相应的精度内。数据库的数据压缩比高,节省存储空间。有损压缩降低精度,在保持基的同时将部分偏差丢弃,降低存储空间。使用类似Huffman编码的思想进行编码,进一步提升压缩比。编码方式灵活。可以更换编码方式,Huffman编码需要整段全解压缩才能够查询,查询效率低时可以选择更换不同的编码方式来提升效率。

    基于强化学习的知识图谱实体化视图生成器及生成方法

    公开(公告)号:CN112905806B

    公开(公告)日:2022-11-01

    申请号:CN202110318765.X

    申请日:2021-03-25

    Abstract: 基于强化学习的知识图谱实体化视图生成器及生成方法,属于计算机领域。本发明是为了解决现有知识图谱存储方案无法同时满足存储大规模知识图谱数据和高效处理复杂查询工作负载的要求。复杂子查询识别器对知识图谱查询语句中谓语进行识别,若谓语个数大于给定阈值数量,将数据库中含有所述谓语的语句形成语句集合;实体化视图在线生成模型采用Q学习算法判断是否对语句集合生成实体化视图,如果否,在数据库中完成查询语句集合操作,如果是,再次判断所述语句集合生成实体化视图后的存储量是否达到预算值,结果为否时,将语句集合构造成实体化视图;结果为是时,利用Q学习算法从语句集合中挑选出部分语句生成新的实体化视图。它用于提升查询效率。

    一种自动选择学生模型结构的图像识别知识蒸馏方法

    公开(公告)号:CN115035341A

    公开(公告)日:2022-09-09

    申请号:CN202210679569.X

    申请日:2022-06-15

    Abstract: 一种自动选择学生模型结构的图像识别知识蒸馏方法,涉及知识蒸馏领域。本发明是为了解决现有的图像识别知识蒸馏方法中学生模型结构固定且复杂以及灵活性差,导致了图像识别精度低的问题。本发明包括:将待预测图片数据集输入分类网络中获得图片类别;分类网络获得方式为:利用图片训练集训练深度卷积神经网络,获得训练好的深度卷积神经网络;建立包含多条可选路径的子模型空间:在深度卷积神经网络的每个阶段中,预设深度、卷积通道形式、卷积通道数都不同的“路径”;根据训练好的卷积神经网络与全局目标函数和分阶段目标函数对子模型空间自动选择获得分类网络。本发明用于深度学习模型的压缩。

    基于异步并行多臂老虎机的机器学习的时间序列预测方法

    公开(公告)号:CN114066014A

    公开(公告)日:2022-02-18

    申请号:CN202111234014.6

    申请日:2021-10-22

    Abstract: 基于异步并行多臂老虎机的机器学习的时间序列预测方法,涉及时间序列预测领域,本发明的目的是为了解决现有的对预测未来多时间步的数据预测精度低、预测时间长的问题。本申请采用一种高度并行和异步的算法,多臂老虎机从第二次选取模型开始与超参数调优的过程是并行进行的,另外,在对某个模型进行训练时,该模型当中的多个超参数的调优处理过程是异步进行的。它用于预测未来数据。

Patent Agency Ranking