公开(公告)号：CN116149830B

公开(公告)日：2023-07-04

申请号：CN202310423714.2

申请日：2023-04-20

Applicant: 北京邮电大学 ,  北京海联捷讯科技股份有限公司

Inventor： 陈春丽 ,  叶铭炜 ,  罗红 ,  孙岩 ,  姜兴国

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供一种基于双尺度节点调度策略的海量数据处理方法及装置，所述方法的步骤包括：获取模型的模型架构和当前运行参数，基于当前运行参数确定模型是否处于处理高峰；若未处于处理高峰，则基于节点的唤醒时间处理节点上游的待处理文件；若处于处理高峰，则基于模型当前待处理文件数量计算模型堆积率，基于模型堆积率计算模型优先权值；并基于所述模型架构中各个节点的位置构建初始节点序列，并迭代更新，得到最终节点序列；基于当前时刻节点的节点需求利用率和最终节点序列中的节点层级计算节点优先权值；基于模型优先权值和节点优先权值计算每个节点的排序权重，基于排序权重的大小确定存在待处理文件的节点的执行顺序。

公开(公告)号：CN116149830A

公开(公告)日：2023-05-23

申请号：CN202310423714.2

申请日：2023-04-20

Applicant: 北京邮电大学 ,  北京海联捷讯科技股份有限公司

Inventor： 陈春丽 ,  叶铭炜 ,  罗红 ,  孙岩 ,  姜兴国

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供一种基于双尺度节点调度策略的海量数据处理方法及装置，所述方法的步骤包括：获取模型的模型架构和当前运行参数，基于当前运行参数确定模型是否处于处理高峰；若未处于处理高峰，则基于节点的唤醒时间处理节点上游的待处理文件；若处于处理高峰，则基于模型当前待处理文件数量计算模型堆积率，基于模型堆积率计算模型优先权值；并基于所述模型架构中各个节点的位置构建初始节点序列，并迭代更新，得到最终节点序列；基于当前时刻节点的节点需求利用率和最终节点序列中的节点层级计算节点优先权值；基于模型优先权值和节点优先权值计算每个节点的排序权重，基于排序权重的大小确定存在待处理文件的节点的执行顺序。