一种基于加速器约束的算子性能优化方法

    公开(公告)号:CN117349585B

    公开(公告)日:2024-02-23

    申请号:CN202311644953.7

    申请日:2023-12-04

    Abstract: 本发明公开了一种基于加速器约束的算子性能优化方法,基于获取到的加速器第一参数确定第一约束,再根据第一约束建立测试矩阵组集合及与测试矩阵组集合对应的测试矩阵组组合集合,再采用目标深度学习加速器完成所有测试子矩阵组的矩阵乘法运算并记录运算时间,将最小组合运算时间的矩阵组组合作为测试矩阵组的选定矩阵组组合并将选定矩阵组组合作为第二约束,对于待执行运算的输入数组分解确定目标组合,基于目标组合确定受限探索空间,最后以第二约束作为约束采用基于约束的模拟退火算法在该受限探索空间中执行寻优得到最优分解组合,从而有效提高相同加速器上的算子计算性能。

    一种基于加速器约束的算子性能优化方法

    公开(公告)号:CN117349585A

    公开(公告)日:2024-01-05

    申请号:CN202311644953.7

    申请日:2023-12-04

    Abstract: 本发明公开了一种基于加速器约束的算子性能优化方法,基于获取到的加速器第一参数确定第一约束,再根据第一约束建立测试矩阵组集合及与测试矩阵组集合对应的测试矩阵组组合集合,再采用目标深度学习加速器完成所有测试子矩阵组的矩阵乘法运算并记录运算时间,将最小组合运算时间的矩阵组组合作为测试矩阵组的选定矩阵组组合并将选定矩阵组组合作为第二约束,对于待执行运算的输入数组分解确定目标组合,基于目标组合确定受限探索空间,最后以第二约束作为约束采用基于约束的模拟退火算法在该受限探索空间中执行寻优得到最优分解组合,从而有效提高相同加速器上的算子计算性能。

    一种基于芯片架构感知算子实测反馈的智能模型优化方法

    公开(公告)号:CN119378630B

    公开(公告)日:2025-03-28

    申请号:CN202411960626.7

    申请日:2024-12-30

    Abstract: 本发明公开了一种基于芯片架构感知算子实测反馈的智能模型优化方法,将通用算子在目标硬件平台上进行性能测试选择其中执行时间短的算子建立优选通用算子库,将待优化模型中各算子在目标硬件平台上进行实测,根据反馈的结果形成剔除算子列表,采用优选通用算子库中的算子替换剔除算子列表中的算子;采用构建的测试数据对待优化模型进行测试形成第一算子序列及第二算子序列,对待优化模型进行常量融合及冗余算子移除,最后再基于第一算子序列及第二算子序列对待优化模型执行算子重构完成优化,在目标硬件平台内算子实测反馈的基础上实现了能够感知芯片架构的智能模型优化。

    一种卷积神经网络模型的自动压缩方法

    公开(公告)号:CN116957044B

    公开(公告)日:2024-02-23

    申请号:CN202311034626.X

    申请日:2023-08-17

    Abstract: 本发明公开了一种卷积神经网络模型的自动压缩方法,采用设定的选择条件及限制条件确定卷积神经网络模型中存在的可被剪枝的卷积算子及批量归一化算子,针对卷积算子及批量归一化算子分别采用特定的剪枝方式完成剪枝,实现了仅需设置初始参数等即可完成模型自动剪枝的功能,有效减少了模型剪枝过程所需的时间和人力,此外,对处于同一结构层的卷积算子及批量归一化算子在其剪枝后再同步通道尺寸进一步提高了剪枝效果。

    一种卷积神经网络模型的自动压缩方法

    公开(公告)号:CN116957044A

    公开(公告)日:2023-10-27

    申请号:CN202311034626.X

    申请日:2023-08-17

    Abstract: 本发明公开了一种卷积神经网络模型的自动压缩方法,采用设定的选择条件及限制条件确定卷积神经网络模型中存在的可被剪枝的卷积算子及批量归一化算子,针对卷积算子及批量归一化算子分别采用特定的剪枝方式完成剪枝,实现了仅需设置初始参数等即可完成模型自动剪枝的功能,有效减少了模型剪枝过程所需的时间和人力,此外,对处于同一结构层的卷积算子及批量归一化算子在其剪枝后再同步通道尺寸进一步提高了剪枝效果。

    一种基于芯片架构感知算子实测反馈的智能模型优化方法

    公开(公告)号:CN119378630A

    公开(公告)日:2025-01-28

    申请号:CN202411960626.7

    申请日:2024-12-30

    Abstract: 本发明公开了一种基于芯片架构感知算子实测反馈的智能模型优化方法,将通用算子在目标硬件平台上进行性能测试选择其中执行时间短的算子建立优选通用算子库,将待优化模型中各算子在目标硬件平台上进行实测,根据反馈的结果形成剔除算子列表,采用优选通用算子库中的算子替换剔除算子列表中的算子;采用构建的测试数据对待优化模型进行测试形成第一算子序列及第二算子序列,对待优化模型进行常量融合及冗余算子移除,最后再基于第一算子序列及第二算子序列对待优化模型执行算子重构完成优化,在目标硬件平台内算子实测反馈的基础上实现了能够感知芯片架构的智能模型优化。

Patent Agency Ranking