边端环境下面向能耗优化的多设备多神经网络应用拆分推理方法

    公开(公告)号:CN118964006A

    公开(公告)日:2024-11-15

    申请号:CN202410975156.5

    申请日:2024-07-19

    Abstract: 本发明涉及一种边端环境下面向能耗优化的多设备多神经网络应用拆分推理方法,属于计算机服务技术领域。该方法旨在解决工业互联网中深度神经网络模型在端设备上推理的能耗问题。通过对边端环境和DNN模型精细化建模,结合遗传算法和贪心策略,生成DNN分区与卸载策略和资源分配方案,在成本和最大端到端延迟约束下实现最小化端设备功耗的目标。该方法支持大规模数量的端设备,且每个端设备上可部署多个不同复杂DNN模型,通过精细化的资源分配和任务调度,能够在成本约束下充分利用环境中的多个边缘服务器。本发明为工业互联网领域的DNN模型推理提供了一种能耗优化的解决方案,推动IIoT系统的智能化发展。

    基于自适应分区部署的多深度神经网络应用分布式推理方法

    公开(公告)号:CN118211664A

    公开(公告)日:2024-06-18

    申请号:CN202410393447.3

    申请日:2024-04-02

    Abstract: 本发明公开了一种基于自适应分区部署的多深度神经网络应用分布式推理方法,所述方法包括如下步骤:步骤S1、分布式DNN应用推理建模;步骤S2、DNN推理运行数据收集;步骤S3、DNN自适应分区方案优化;步骤S4、DNN多实例部署方案优化;步骤S5、DNN分区部署自适应调整。本发明适用于支持多个不同的复杂DNN以及分布式异构的边缘计算环境,通过对DNN、计算环境以及端到端延迟进行建模,结合遗传算法与分层强化学习算法对DNN进行分区与部署,从而优化其推理延迟进行优化,最终生成DNN的分区方案以及部署方案,实现高效的DNN分布式推理。

    一种面向微服务系统运行及治理的建模与仿真方法

    公开(公告)号:CN115941504B

    公开(公告)日:2024-03-22

    申请号:CN202211574657.X

    申请日:2022-12-08

    Abstract: 一种面向微服务系统运行及治理的建模与仿真方法,所述方法包括如下步骤:步骤S1、微服务系统共性要素建模;步骤S2、微服务系统运行仿真;步骤S3、治理系统与仿真组件的映射和转换;步骤S4、治理手段与仿真事件的映射和转换;步骤S5、微服务及治理系统的运行仿真。本发明对微服务系统运行及治理过程进行仿真,通过仿真分析出微服务系统的运行状态,评估治理方案的治理效果及代价,从而帮助微服务系统治理人员以代价更小的方式做出治理方案的选择或者对治理方案进行调整。

    一种基于贪婪算法的面向异构性的微服务部署方法

    公开(公告)号:CN119892840A

    公开(公告)日:2025-04-25

    申请号:CN202510049469.2

    申请日:2025-01-13

    Abstract: 本发明公开了一种基于贪婪算法的面向异构性的微服务部署方法,所述方法如下:S1、计算每个节点剩余的资源量,并且按照剩余量从多到少的顺序编号;S2、依据节点排名的顺序,在节点上尝试依次部署每个微服务功能中的微服务各一个,若某个节点上的某个微服务部署失败则之后不再在该节点部署该微服务所属的微服务功能;S3、返回S1,直到每个微服务功能的残留部署量为μ,或是每个微服务功能在所有的节点都标记为不再部署;S4、使用传统的贪婪算法部署剩余的微服务实例;S5、结束部署,判断结果是否符合约束。本发明能够按照需求在多个节点中部署多个不同功能的微服务实例,在资源限制较强的情况下获得较高的微服务异构性。

    面向多出口神经网络高效能推理的出口选择与分区部署策略生成方法

    公开(公告)号:CN119167983B

    公开(公告)日:2025-04-08

    申请号:CN202411334373.2

    申请日:2024-09-24

    Inventor: 贺祥 王腾 王忠杰

    Abstract: 本发明公开了一种面向多出口神经网络高效能推理的出口选择与分区部署策略生成方法,所述方法包括如下步骤:步骤S1、多出口DNN运行性能分析与建模;步骤S2、多出口DNN各出口性能分析;步骤S3、多出口DNN分区部署方案优化;步骤S4、多出口DNN出口选择方案优化。该方法适用于支持多个不同的复杂多出口DNN以及分布式异构的边缘计算环境,通过对多出口DNN的计算性能、出口准确率等进行分析,结合遗传算法与分层强化学习算法对DNN进行出口选择与分区部署,生成合适的多出DNN的分区部署方案,在延迟约束的情况下,使得端设备的能耗达到最优,实现高效能的DNN推理。

    面向多出口神经网络高效能推理的出口选择与分区部署策略生成方法

    公开(公告)号:CN119167983A

    公开(公告)日:2024-12-20

    申请号:CN202411334373.2

    申请日:2024-09-24

    Inventor: 贺祥 王腾 王忠杰

    Abstract: 本发明公开了一种面向多出口神经网络高效能推理的出口选择与分区部署策略生成方法,所述方法包括如下步骤:步骤S1、多出口DNN运行性能分析与建模;步骤S2、多出口DNN各出口性能分析;步骤S3、多出口DNN分区部署方案优化;步骤S4、多出口DNN出口选择方案优化。该方法适用于支持多个不同的复杂多出口DNN以及分布式异构的边缘计算环境,通过对多出口DNN的计算性能、出口准确率等进行分析,结合遗传算法与分层强化学习算法对DNN进行出口选择与分区部署,生成合适的多出DNN的分区部署方案,在延迟约束的情况下,使得端设备的能耗达到最优,实现高效能的DNN推理。

    一种面向微服务系统运行及治理的建模与仿真方法

    公开(公告)号:CN115941504A

    公开(公告)日:2023-04-07

    申请号:CN202211574657.X

    申请日:2022-12-08

    Abstract: 一种面向微服务系统运行及治理的建模与仿真方法,所述方法包括如下步骤:步骤S1、微服务系统共性要素建模;步骤S2、微服务系统运行仿真;步骤S3、治理系统与仿真组件的映射和转换;步骤S4、治理手段与仿真事件的映射和转换;步骤S5、微服务及治理系统的运行仿真。本发明对微服务系统运行及治理过程进行仿真,通过仿真分析出微服务系统的运行状态,评估治理方案的治理效果及代价,从而帮助微服务系统治理人员以代价更小的方式做出治理方案的选择或者对治理方案进行调整。

Patent Agency Ranking