一种针对IO密集型任务的调度方法及系统

    公开(公告)号:CN116841740A

    公开(公告)日:2023-10-03

    申请号:CN202310798007.1

    申请日:2023-06-30

    Abstract: 本发明涉及数据处理技术领域,具体公开了一种针对IO密集型任务的调度方法及系统,包括:任务管理模块接收任务配置,录入任务代码、节点偏好,并将任务代码中的IO操作替换为统一的IO接口;任务调度模块接收任务执行节点上报的节点负载和进度信息,维护活跃节点的负载情况;任务调度模块接收任务执行请求,根据任务偏好、节点负载任务和过往执行耗时情况,得到适合执行的节点,并下发任务;任务执行节点执行接收到的任务请求,并在任务完成后上报任务结果以及执行耗时情况给任务调度模块;任务调度模块将任务执行结果保存,并将任务执行耗时更新到任务管理模块。本发明既提高了CPU的利用率,提高了吞吐量,又避免了平均耗时的明显增加。

Patent Agency Ranking