Invention Publication

一种适合迭代计算的MapReduce优化方法
Abstract:
本发明公开了一种适合迭代计算的MapReduce优化方法,是应用在一种Hadoop集群系统中,该集群系统包括一个主节点以及多个从节点,所述方法包括:主节点接收用户提交的多个Hadoop作业,主节点的作业服务进程将作业放入作业队列中,并等待主节点的作业调度器进行作业调度,主节点等待从节点发来的任务请求,并在接收到任务请求后,主节点的作业调度器优先调度本地化任务,如果在发出任务请求的从节点上没有本地化任务,则根据Hadoop作业的任务类型进行预测调度。本发明能够支持传统数据密集型应用,又能够透明高效地支持迭代计算,并分别从动态数据和静态数据两个方面进行研究并实现数据传输量的减少。
Public/Granted literature
Patent Agency Ranking
0/0