-
公开(公告)号:CN112486641A
公开(公告)日:2021-03-12
申请号:CN202011296964.7
申请日:2020-11-18
Applicant: 鹏城实验室 , 清华大学深圳国际研究生院 , 南方科技大学
Abstract: 本申请公开了一种基于图神经网络的任务调度方法,所述方法确定分布式计算平台内所有作业的图结构,并对图结构的特征进行处理添加出度和入度特征;在经过一个全连接的多层感知网络以及带自注意力机制的图神经网络进行节点的聚合,得到节点的节点特征向量;再将每个作业所有节点的节点特征向量加和得到作业向量;长短时记忆扫描所有作业的作业向量得到全局向量;最后通过强化学习智能体将各节点特征向量、各作业向量以及全局向量作为状态输入,通过一个策略梯度网络做出调度动作,以分配给可运行节点一定数量的空闲执行器,提高了调度效率。
-
公开(公告)号:CN112148792B
公开(公告)日:2024-04-12
申请号:CN202010973409.7
申请日:2020-09-16
Abstract: 本发明公开了一种基于HBase的分区数据调整方法、系统及终端,所述方法包括:搜集HBase分区内的分区数据,计算所述分区数据的倾斜程度;根据所述倾斜程度、行键所属分区的调整记录、行键相关的历史分区数据倾斜及整体分区倾斜确定行键的目标调整分区,并生成目标调整分区键;根据所述目标调整分区键对待调整行键进行修改,在所述待调整行键前添加所述目标调整分区键,完成行键分区的动态调整。本发明通基于分区内数据量的大小进行动态计算,得到分区数据量的变化,动态调整行键,对分区数据进行动态分配,同时考虑相同行键尽可能归属到相同的分区,既保证了数据查询的效率,又降低了分区数据倾斜情况,提高了系统资源利用率。
-
公开(公告)号:CN112181785B
公开(公告)日:2023-02-24
申请号:CN202011131519.5
申请日:2020-10-21
IPC: G06F11/30
Abstract: 本发明公开了一种自动添加监控设备的方法、终端及存储介质,所述方法包括:获取待监控设备的服务进程信息,基于所述服务进程信息得到所述待监控设备的服务进程类型;根据所述待监控设备的服务进程类型,得到目标监控程序并将所述目标监控程序的部署信息发送给所述待监控设备;获取基于所述部署信息生成的部署完毕指令,根据所述部署完毕指令得到目标配置文件,并基于所述目标配置文件将所述待监控设备添加至监控报警系统中。从而解决了现有技术中的无法自动在监控报警系统中添加监控设备的问题。
-
公开(公告)号:CN115391003A
公开(公告)日:2022-11-25
申请号:CN202210919969.3
申请日:2022-08-01
Abstract: 本发明公开了一种DPDK数据包处理的排队延迟控制方法及装置,方法包括:轮询网卡的接收队列,并根据接收队列中DPDK数据包的当前数量确定接收队列的状态;若接收队列的状态为空闲状态,则循环执行PAUSE指令,并获取时间片,在时间片未被用完时,重新获取接收队列中DPDK数据包的当前数量;若当前数量超过预设阈值,则将接收队列的状态从空闲状态切换至忙碌状态,并对DPDK数据包进行处理。本发明可控制接收队列在空闲状态与忙碌状态之间切换,避免数据包在接受队列中排队延迟过长,并且,本发明使用PAUSE指令而不是通过调节CPU频率来降低CPU的功耗,整个过程没有引入中断,有效地达到降低整体功耗提高能效的目的。
-
公开(公告)号:CN112202686B
公开(公告)日:2022-09-13
申请号:CN202010929766.3
申请日:2020-09-07
Abstract: 本申请公开了一种差分流量控制的自适应接入识别方法及终端设备,所述方法包括当接收到数据流时,获取所述数据流对应的数据信息;基于所述数据信息以及预设的接入识别模型,确定所述数据流对应的预测接入类别。本发明通过获取数据流对应的数据信息,并基于预设的接入识别模型确定所述数据流对应的网络类型,这样一方面可以快速准确的确定数据流对应的网络类型,另一方可以基于确定得到网络类型确定数据流对应的拥塞控制方式,从而提高数据流的传输效率。
-
公开(公告)号:CN112468458A
公开(公告)日:2021-03-09
申请号:CN202011263902.6
申请日:2020-11-12
IPC: H04L29/06 , H04L29/08 , H04L12/851 , H04L12/931 , H04L12/24
Abstract: 本申请公开了一种基于neutron分层机制的调度方法,所述方法包括当获取到待分配计算节点的虚拟机时,基于若干计算节点中的各计算节点各自对应的剩余虚拟局域网数量,确定若干候选计算节点;获取各候选计算节点各自对应的计算资源权重,并基于各候选计算节点各自对应的剩余虚拟局域网数量,确定各候选计算节点各自对应的虚拟局域网权重值;基于各候选计算节点各自对应的虚拟局域网权重值以及计算资源权重,确定所述虚拟机对应的目标计算节点,并将该目标计算节点分配给该虚拟机。本申请通过基于剩余虚拟局域网数量对VLAN进行筛选,去除VLAN资源已经分配完毕的计算节点,避免调度失败问题。
-
公开(公告)号:CN112202686A
公开(公告)日:2021-01-08
申请号:CN202010929766.3
申请日:2020-09-07
IPC: H04L12/851 , H04L12/801
Abstract: 本申请公开了一种差分流量控制的自适应接入识别方法及终端设备,所述方法包括当接收到数据流时,获取所述数据流对应的数据信息;基于所述数据信息以及预设的接入识别模型,确定所述数据流对应的预测接入类别。本发明通过获取数据流对应的数据信息,并基于预设的接入识别模型确定所述数据流对应的网络类型,这样一方面可以快速准确的确定数据流对应的网络类型,另一方可以基于确定得到网络类型确定数据流对应的拥塞控制方式,从而提高数据流的传输效率。
-
公开(公告)号:CN112152938A
公开(公告)日:2020-12-29
申请号:CN202010838755.4
申请日:2020-08-19
IPC: H04L12/841 , H04L29/08
Abstract: 本申请公开了一种云虚拟环境中往返时延的确定方法,所述方法包括向接收方发送数据信息,并接收该数据信息对应的确认信息;读取该确认信息携带的调度时延,并确定所述数据信息对应的候选往返时延;基于所述候选往返时延以及所述调度时延,确定所述数据信息对应的往返时延。本申请通过在确认信息中携带调度时延,在确定确认信息对应的往返时延时,将所述调度时延去除,这样可以提高确定到往返时延的准确性,进而提高基于往返时延执行的拥塞控制的准确性。
-
公开(公告)号:CN111767134B
公开(公告)日:2024-07-23
申请号:CN202010419223.7
申请日:2020-05-18
IPC: G06F9/50
Abstract: 本发明公开了一种多任务动态资源调度方法,当接收到新任务时在所有运行任务中选取新任务对应的候选任务,并且各运行任务对应的优先级基于各运行任务的已运行时长确定的;根据新任务对应的系统分配资源,确定各候选任务对应的调整资源;根据各候选任务的调整资源对各候选任务对应的分配资源进行调整,将调整得到的系统资源分配给新任务。本实施例利用容器化资源隔离方式,实现了基于任务已执行时长的动态资源调度机制,这样无须提前预测任务运行所需要的时间,根据任务已执行时间,给不同任务设置动态优先级,优先级高的任务分配较多资源,反之减少分配的资源,使得在减少短任务完成时间的前提下,保证长任务的完成,提高整体的资源使用率。
-
公开(公告)号:CN113033806B
公开(公告)日:2023-07-18
申请号:CN202110387715.7
申请日:2021-04-12
Applicant: 鹏城实验室 , 清华大学深圳国际研究生院 , 南方科技大学
IPC: G06N3/092
Abstract: 本申请公开了一种用于分布式计算集群的深度强化学习模型训练方法、装置以及调度方法,所述方法包括采用深度强化学习框架建立若干第一调度模型和第二调度模型;通过若干第一调度模型确定训练样本集;基于训练样本集训练第二调度模型以得到模型参数;基于模型参数更新各第一调度模型中的第一深度强化学习智能体的模型参数,并继续执行通过若干第一调度模型确定训练样本集的步骤,直至第二调度模型满足预设条件以得到深度强化学习模型。本申请通过解耦深度强化学习训练的前向行动和后向学习过程,通过多个独立且同时与环境交互的第一调度模型生成训练样本集,再基于训练样本对第二调度模型进行训练,这样实现了大规模并行训练,提高了深度强化学习模型的训练速度,实现了分布式计算集群的高效利用。
-
-
-
-
-
-
-
-
-