-
Patent Agency Ranking
公开(公告)号：CN116306938A
公开(公告)日：2023-06-23
申请号：CN202211603460.4
申请日：2022-12-13
Applicant: 哈尔滨工业大学 , 哈尔滨工业大学(深圳)
Abstract: 本发明提出了一种面向自动驾驶全场景感知的多模型推理加速系统及方法，将自动驾驶全场景感知中的多个DNN模型转换为基于有向无环图DAG的计算图，设计一个调度框架POS，并采用深度强化学习DRL方法得到最优的POS调度策略，构建基于最大熵深度强化学习的算子调度算法以选择最佳并行策略，完成自动驾驶全场景的感知；本发明与最先进的深度学习推理框架和特定调度方法相比，POS可以始终实现1.2倍～3.9倍的推理加速以及28％～55％的GPU利用率提升。此外，最优调度的搜索开销比基线缩短了1.2倍～2.9倍。
-
公开(公告)号：CN115827239A
公开(公告)日：2023-03-21
申请号：CN202211603470.8
申请日：2022-12-13
Applicant: 哈尔滨工业大学 , 哈尔滨工业大学(深圳)
IPC: G06F9/50
Abstract: 本发明提出了一种基于深度强化学习的动态频率和深度学习模型卸载联合调节方法及系统，首先建立边缘设备能耗最小化模型；然后构建基于DVFS的边云协同推理框架，以联合优化边缘设备的能耗和端到端延迟；再构建基于DRL的增强型DVFS优化算法DVFO，通过联合优化边缘设备的计算频率和特征图的卸载比例来减少边缘设备的整体能耗；最后建立卸载机制，以解决特征图的卸载瓶颈问题，避免特征图的大小直接影响边云协同推理的端到端延迟；本发明用于云边协同推理中的DNN特征图卸载，使用“边移动边思考”并发策略的强化学习算法为每个任务计算特征图的最佳卸载比和边缘设备的计算频率，以最小化边缘设备的能耗。
-
公开(公告)号：CN115794410A
公开(公告)日：2023-03-14
申请号：CN202211674778.1
申请日：2022-12-26
Applicant: 哈尔滨工业大学
Abstract: 本发明提出一种基于整数规划的边缘集群异构优化方法。所述方法根据实验来测试不同模型在不同设备上并发执行的性能和能耗，在预算和节点数量的约束下，利用整数规划最大化每个设备对特定模型的并发适配性，从而优化设备选择和每个模型在每个设备上的部署方案。本发明所述方法能够根据具体的模型选择合适的边缘设备，并确定每台设备上适合部署的模型以及各种模型的并发量，从而充分发挥边缘异构的优势。
-
公开(公告)号：CN115454585A
公开(公告)日：2022-12-09
申请号：CN202210662359.X
申请日：2022-06-13
Applicant: 哈尔滨工业大学
Abstract: 本发明提出了一种面向边缘设备深度学习模型推理的自适应批处理和并行调度系统，包括决策模块、动态批处理调度模块、模型并行模块、性能分析器四部分；决策模块对深度学习模型的批处理和并行推理进行调度建模并为不同模型选择合适的批处理大小和模型并行数量，动态批处理调度模块进行批处理推理；模型并行模块同时处理多个推理请求；性能分析器以在线方式实时收集边缘设备的系统状态；与传统的启发式和其他强化学习方法相比，本发明设计的基于最大熵强化学习的调度决策算法，在对系统吞吐量和推理延迟的权衡方面有着3.2～58％的性能提升，同时收敛速度是其他算法的1.8～6.5倍；此外，平均调度开销只有其他算法的49％。
-
公开(公告)号：CN116010054A
公开(公告)日：2023-04-25
申请号：CN202211695287.5
申请日：2022-12-28
Applicant: 哈尔滨工业大学
Abstract: 本发明针对异构边云AI推理系统中高吞吐和低延迟的需求，提出一种基于强化学习的异构边云AI系统任务调度框架，能够高效地处理多种深度学习任务。所述调度框架由边缘调度器、异构的边缘集群和云服务器组成。该框架使用在运行时测得的后验结果作为学习样本，在每次调度中根据每个任务的性能降级自动学习设备间的差异，实现异构资源感知，进而推断出当前状态下的最优调度决策。此外，本发明还引入了云端任务卸载机制，解决了边缘端小模型推理精度不足的问题。
-
-
-
-
Search Results
5
records
(took 0.042 seconds)
