一种云作业调度及资源配置的方法

    公开(公告)号:CN111722910B

    公开(公告)日:2023-07-21

    申请号:CN202010567753.6

    申请日:2020-06-19

    Abstract: 本发明涉及云计算领域,更具体地,涉及一种云作业调度及资源配置的方法,包括:步骤S1:获取用户上传的作业,建立作业集;步骤S2:将作业集中的作业分配到不同的作业队列;步骤S3:通过作业调度器将作业队列中的作业调度到不同的数据中心;步骤S4:对调度到数据中心的作业进行任务解耦,将作业转化为不同的子任务;步骤S5:通过资源调度器为不同的子任务分配虚拟机,并且以虚拟机为部署单位,部署到相应的服务器。本发明对云作业调度进行多目标优化和全局优化。

    一种基于探索利用分离的联合神经网络的云作业调度方法及系统

    公开(公告)号:CN114579281A

    公开(公告)日:2022-06-03

    申请号:CN202210233352.6

    申请日:2022-03-10

    Abstract: 本发明涉及一种基于探索利用分离的联合神经网络的云作业调度方法及系统。方法包括:将用户负载解耦成子作业并分配到多个队列中;将多个队列中的多个作业属性组成状态;将状态作为多个并行神经网络的输入,对应输出动作决策;利用回报函数计算每个动作决策的成本值,选择获取最小成本值的动作决策作为该组作业的最佳动作决策;根据选择的最佳动作决策将队列中的子作业调度到多个集群中;其中,多个并行的神经网络分为探索部分和利用部分,将利用部分的神经网络利用训练集进行训练得到训练后的神经网络;然后将状态输入训练后的利用部分的神经网络和探索部分的神经网络。本发明能够避免陷入局部最优,进而提升优化本发明的作业调度问题。

    一种基于Deep Q-network算法的多资源云作业调度方法

    公开(公告)号:CN109388484A

    公开(公告)日:2019-02-26

    申请号:CN201810936826.7

    申请日:2018-08-16

    Abstract: 本发明提供一种基于Deep Q-network算法的多资源云作业调度方法,包括四个步骤:通过云环境采集资源的当前配置信息和作业的需求信息;所述资源的当前配置信息和作业的需求信息分别以矩阵图像表示,所述包括单元格,同一种彩色的单元格表示同一个作业,同一种彩色的单元格形成的矩形包括M×N个单元格,M表示资源数,N表示时间步;根据所述矩阵图像,利用深度学习方法得到高层语义信息;根据所述高层语义信息,利用强化学习方法完成资源的实时调度规划。本发明矩阵图像能完全清晰地表示资源与作业的状态。本方法还使用了深度强化学习,将深度与强化学习进行了结合,其中深度学习主要完成环境状态感知,而强化学习完成决策,实现状态到动作的映射。

    一种基于深度强化学习的云作业调度方法

    公开(公告)号:CN112698911B

    公开(公告)日:2022-05-17

    申请号:CN202011578884.0

    申请日:2020-12-28

    Abstract: 本发明涉及云计算资源调度领域,更具体地,涉及一种基于深度强化学习的云作业调度方法,包括:接收用户发送的用户作业;对用户作业进行解耦,获取就绪作业集;通过作业调度器对就绪作业集进行调度;所述调度为按照调度策略采取动作,将就绪作业集中的作业部署到相应的虚拟机上;通过虚拟机执行作业,并且返回执行结果;收集训练样本,建立经验池;所述训练样本用于存储就绪作业集状态、虚拟机状态、动作和回报值;所述回报值为采取动作获得的回报;判断经验池内的训练样本数量是否小于阈值,若小于阈值则重新接收用户发送的用户作业,否则利用经验池中的训练样本优化作业调度器;利用优化后的作业调度器进行调度。本发明能缩短用户作业完工时间。

    一种基于深度强化学习的云作业调度方法

    公开(公告)号:CN112698911A

    公开(公告)日:2021-04-23

    申请号:CN202011578884.0

    申请日:2020-12-28

    Abstract: 本发明涉及云计算资源调度领域,更具体地,涉及一种基于深度强化学习的云作业调度方法,包括:接收用户发送的用户作业;对用户作业进行解耦,获取就绪作业集;通过作业调度器对就绪作业集进行调度;所述调度为按照调度策略采取动作,将就绪作业集中的作业部署到相应的虚拟机上;通过虚拟机执行作业,并且返回执行结果;收集训练样本,建立经验池;所述训练样本用于存储就绪作业集状态、虚拟机状态、动作和回报值;所述回报值为采取动作获得的回报;判断经验池内的训练样本数量是否小于阈值,若小于阈值则重新接收用户发送的用户作业,否则利用经验池中的训练样本优化作业调度器;利用优化后的作业调度器进行调度。本发明能缩短用户作业完工时间。

    一种基于Deep Q-network算法的多资源云作业调度方法

    公开(公告)号:CN109388484B

    公开(公告)日:2020-07-28

    申请号:CN201810936826.7

    申请日:2018-08-16

    Abstract: 本发明提供一种基于Deep Q‑network算法的多资源云作业调度方法,包括四个步骤:通过云环境采集资源的当前配置信息和作业的需求信息;所述资源的当前配置信息和作业的需求信息分别以矩阵图像表示,所述包括单元格,同一种彩色的单元格表示同一个作业,同一种彩色的单元格形成的矩形包括M×N个单元格,M表示资源数,N表示时间步;根据所述矩阵图像,利用深度学习方法得到高层语义信息;根据所述高层语义信息,利用强化学习方法完成资源的实时调度规划。本发明矩阵图像能完全清晰地表示资源与作业的状态。本方法还使用了深度强化学习,将深度与强化学习进行了结合,其中深度学习主要完成环境状态感知,而强化学习完成决策,实现状态到动作的映射。

    一种基于DQN的云计算资源调度优化方法

    公开(公告)号:CN110351348A

    公开(公告)日:2019-10-18

    申请号:CN201910569345.1

    申请日:2019-06-27

    Abstract: 一种基于DQN的云计算资源调度优化方法,所述方法包括:确认任务和目标并形成任务部署计划;记录服务器当前负载状态并部署计划至服务器的虚拟机上;记录任务部署后状态;形成第一回报值,形成第二回报值;统计多次的任务部署后的第一回报值形成第一回报集,统计多次的任务部署后的第二回报值形成第二回报集;将第一回报集及第二回报集分别进行归一化处理;根据能源消耗权重、时间权重、归一化后的第一回报集及归一化后的第二回报集计算得最终回报集;根据最终回报集中的元素形成样本加入至样本池。解决了如何形成基于DQN调度模型用于在特定云端服务器布置任务时平衡服务器能源消耗和任务完工时间的样本的问题。

    一种多队列多集群的任务调度方法及系统

    公开(公告)号:CN111831415B

    公开(公告)日:2024-01-26

    申请号:CN202010659959.1

    申请日:2020-07-10

    Abstract: 本发明公开一种多队列多集群的任务调度方法及系统,涉及云计算技术领域,方法包括:构建训练数据集;利用所述训练数据集对多个并行的深度神经网络进行训练和优化,得到多个并行的训练和优化后的深度神经网络;设置回报函数;所述回报函数通过调整任务延迟的回报值比重与能源消耗的回报值比重,使任务延迟与能源消耗之和最小;将待调度的状态空间输入多个并行的所述训练和优化后的深度神经网络中,得到多个待调度的动作决策;根据所述回报函数在多个所述待调度的动作决策中确定一个最佳动作决策进行输出;根据所述最佳动作决策将多个所述任务属性组调度到多个集群。本发明能够以最小化任务延迟和能源消耗作为云系统的优化目标,生成最优调度策略。

    一种基于DQN的云计算资源调度优化方法

    公开(公告)号:CN110351348B

    公开(公告)日:2022-03-11

    申请号:CN201910569345.1

    申请日:2019-06-27

    Abstract: 一种基于DQN的云计算资源调度优化方法,所述方法包括:确认任务和目标并形成任务部署计划;记录服务器当前负载状态并部署计划至服务器的虚拟机上;记录任务部署后状态;形成第一回报值,形成第二回报值;统计多次的任务部署后的第一回报值形成第一回报集,统计多次的任务部署后的第二回报值形成第二回报集;将第一回报集及第二回报集分别进行归一化处理;根据能源消耗权重、时间权重、归一化后的第一回报集及归一化后的第二回报集计算得最终回报集;根据最终回报集中的元素形成样本加入至样本池。解决了如何形成基于DQN调度模型用于在特定云端服务器布置任务时平衡服务器能源消耗和任务完工时间的样本的问题。

    一种多队列多集群的任务调度方法及系统

    公开(公告)号:CN111831415A

    公开(公告)日:2020-10-27

    申请号:CN202010659959.1

    申请日:2020-07-10

    Abstract: 本发明公开一种多队列多集群的任务调度方法及系统,涉及云计算技术领域,方法包括:构建训练数据集;利用所述训练数据集对多个并行的深度神经网络进行训练和优化,得到多个并行的训练和优化后的深度神经网络;设置回报函数;所述回报函数通过调整任务延迟的回报值比重与能源消耗的回报值比重,使任务延迟与能源消耗之和最小;将待调度的状态空间输入多个并行的所述训练和优化后的深度神经网络中,得到多个待调度的动作决策;根据所述回报函数在多个所述待调度的动作决策中确定一个最佳动作决策进行输出;根据所述最佳动作决策将多个所述任务属性组调度到多个集群。本发明能够以最小化任务延迟和能源消耗作为云系统的优化目标,生成最优调度策略。

Patent Agency Ranking