公开(公告)号：CN118839742B

公开(公告)日：2024-12-20

申请号：CN202411329970.6

申请日：2024-09-24

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨诚 ,  燕肇一 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/045

Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。

公开(公告)号：CN118839742A

公开(公告)日：2024-10-25

申请号：CN202411329970.6

申请日：2024-09-24

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨诚 ,  燕肇一 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/045

Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。