公开(公告)号：CN119150931B

公开(公告)日：2025-04-22

申请号：CN202411650826.2

申请日：2024-11-19

Applicant: 南京信息工程大学

Inventor： 程勇 ,  李茂文

IPC: G06N3/0464 ,  G06N5/04 ,  G06N3/08

Abstract: 本发明公开了一种边云环境下卷积神经网络模型的协同推理方法，包括：将卷积神经网络模型转换为有向无环图，并构建边‑云协同推理系统的目标函数与约束条件，在边‑云协同推理系统执行给定的卷积神经网络模型，获得卷积神经网络模型在异构设备上各层的执行时延以及各层输出数据，对有向无环图合并节点，获得规模优化后的有向无环图；对卷积神经网络模型各层输出数据进行预量化，在规模优化后的有向无环图基础上，根据各层在异构设备上的执行时延以及预量化后的各层输出数据的传输时延，构建预量化后的时延图，计算时延图中源点到汇点的最小割，进行实际模型压缩，获得给定卷积神经网络模型在异构设备上协同推理决策。

公开(公告)号：CN119150931A

公开(公告)日：2024-12-17

申请号：CN202411650826.2

申请日：2024-11-19

Applicant: 南京信息工程大学

Inventor： 程勇 ,  李茂文

IPC: G06N3/0464 ,  G06N5/04 ,  G06N3/08

Abstract: 本发明公开了一种边云环境下卷积神经网络模型的协同推理方法，包括：将卷积神经网络模型转换为有向无环图，并构建边‑云协同推理系统的目标函数与约束条件，在边‑云协同推理系统执行给定的卷积神经网络模型，获得卷积神经网络模型在异构设备上各层的执行时延以及各层输出数据，对有向无环图合并节点，获得规模优化后的有向无环图；对卷积神经网络模型各层输出数据进行预量化，在规模优化后的有向无环图基础上，根据各层在异构设备上的执行时延以及预量化后的各层输出数据的传输时延，构建预量化后的时延图，计算时延图中源点到汇点的最小割，进行实际模型压缩，获得给定卷积神经网络模型在异构设备上协同推理决策。