公开(公告)号：CN103699433B

公开(公告)日：2017-07-14

申请号：CN201310700010.1

申请日：2013-12-18

Applicant: 中国科学院计算技术研究所

Inventor： 康凯 ,  赵霞 ,  宋莹 ,  孙毓忠

IPC: G06F9/46 ,  G06F9/50

Abstract: 本发明公开了一种于Hadoop平台中动态调整任务数目的方法及系统，包括：步骤10，持续获取节点中运行的任务的执行速率；步骤20，计算执行速率在下降的任务的个数；步骤30，根据该个数判断是否需要调整节点中所运行的任务的数目。本发明自动的调整节点上运行的任务数目，以使Hadoop平台体现出较高的任务执行效率。使用感知节点的计算能力、任务执行状态实现动态调整Slots数目，有效的感知了集群和作业的异构性。实现集群运行任何异构性的作业或者作业运行在任何异构性的集群中都能使Hadoop平台体现出良好的性能。

公开(公告)号：CN103699433A

公开(公告)日：2014-04-02

申请号：CN201310700010.1

申请日：2013-12-18

Applicant: 中国科学院计算技术研究所

Inventor： 康凯 ,  赵霞 ,  宋莹 ,  孙毓忠

IPC: G06F9/46 ,  G06F9/50

Abstract: 本发明公开了一种于Hadoop平台中动态调整任务数目的方法及系统，包括：步骤10，持续获取节点中运行的任务的执行速率；步骤20，计算执行速率在下降的任务的个数；步骤30，根据该个数判断是否需要调整节点中所运行的任务的数目。本发明自动的调整节点上运行的任务数目，以使Hadoop平台体现出较高的任务执行效率。使用感知节点的计算能力、任务执行状态实现动态调整Slots数目，有效的感知了集群和作业的异构性。实现集群运行任何异构性的作业或者作业运行在任何异构性的集群中都能使Hadoop平台体现出良好的性能。