公开(公告)号：CN118839742A

公开(公告)日：2024-10-25

申请号：CN202411329970.6

申请日：2024-09-24

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨诚 ,  燕肇一 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/045

Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。

公开(公告)号：CN118839742B

公开(公告)日：2024-12-20

申请号：CN202411329970.6

申请日：2024-09-24

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 黄心忆 ,  杨诚 ,  燕肇一 ,  彭博 ,  李哲暘 ,  谭文明 ,  任烨

IPC: G06N3/082 ,  G06N3/0495 ,  G06N3/045

Abstract: 本申请涉及模型量化技术领域，公开了模型量化方法、装置、设备、存储介质及产品，包括：获取初始浮点模型的模型输出数据，以及初始浮点模型的输出层各输出节点对应的相关性分值，并获取初始浮点模型中各层网络对应的单层量化输出数据；计算初始浮点模型中各层网络分别对应的敏感度评估值；根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络；对初始浮点模型中待调整网络及其他层网络设置量化配置；根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络，并将待调整网络设置为量化精度较高的量化配置，保证了可合理的调整量化方式，提高量化效果。

公开(公告)号：CN117313860A

公开(公告)日：2023-12-29

申请号：CN202311250479.X

申请日：2023-09-26

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 杨诚 ,  彭博 ,  李哲暘 ,  谭文明

IPC: G06N5/04 ,  G06N3/048

Abstract: 本申请实施例提供了一种数据推理的方法、装置、设备及介质，在对目标浮点数据进行推理时，对各个量化后的注意力权重再次进行了归一化处理，降低了推理过程中由注意力权重引起的误差，进一步的用该归一化因子调整输出定点数据特征实现了特征校正，得到目标定点数据特征，使得基于目标定点数据特征得到的推理结果更加准确，提高了数据推理的准确性。并且在推理过程中，不需要定制硬件，从而降低了数据推理的成本，提高了数据推理的效率。