任务处理方法和分布式计算框架
Abstract:
本申请公开了任务处理方法和分布式计算框架。该方法的一具体实施方式包括:解析分布式计算任务对应的表达式,构建分布式计算任务对应的任务描述信息,任务描述信息用于描述算子与分布式数据集的对应关系,其中,算子作用于分布式数据集和/或对分布式数据集进行分组之后得到的分布式数据集;基于任务描述信息,确定算子所作用于的分布式数据集;利用算子对算子所作用于的分布式数据集进行分布式计算。实现了在分布式计算中,构建拓扑结构描述算子的作用范围以及嵌套关系,同一算子可同时作用在分布式数据集和对分布式数据集分组之后得到的分布式数据集,从而描述出不同计算需求的分布式计算任务。
Public/Granted literature
Patent Agency Ranking
0/0