大规模预训练模型压缩及图像数据处理方法、装置

    公开(公告)号:CN118747514B

    公开(公告)日:2024-12-31

    申请号:CN202411222893.4

    申请日:2024-09-02

    Abstract: 本申请实施例提供了大规模预训练模型压缩及图像数据处理方法、装置,按照训练后的大规模预训练模型的权重、预设稀疏度及预设秩构建权重约束条件、稀疏度约束条件和秩约束条件,利用构建的上述权重约束条件、稀疏度约束条件和秩约束条件将权重压缩为低秩部分及非结构化稀疏部分,得到压缩后的大规模预训练模型。通过联合非结构化稀疏和低秩分解方法对大规模预训练模型权重进行压缩,减少了压缩的计算量,提高了模型压缩率。

    模型量化方法、装置、设备、存储介质及产品

    公开(公告)号:CN118839742A

    公开(公告)日:2024-10-25

    申请号:CN202411329970.6

    申请日:2024-09-24

    Abstract: 本申请涉及模型量化技术领域,公开了模型量化方法、装置、设备、存储介质及产品,包括:获取初始浮点模型的模型输出数据,以及初始浮点模型的输出层各输出节点对应的相关性分值,并获取初始浮点模型中各层网络对应的单层量化输出数据;计算初始浮点模型中各层网络分别对应的敏感度评估值;根据敏感度评估值从初始浮点模型中各层网络中选取待调整网络;对初始浮点模型中待调整网络及其他层网络设置量化配置;根据设置后的量化配置对初始浮点模型进行模型量化。由于是根据可表征网络的量化对模型输出影响程度的敏感度评估值选取部分网络作为待调整网络,并将待调整网络设置为量化精度较高的量化配置,保证了可合理的调整量化方式,提高量化效果。

    神经辐射场重建模型生成方法、装置、设备、介质及产品

    公开(公告)号:CN118247442B

    公开(公告)日:2024-08-02

    申请号:CN202410667307.0

    申请日:2024-05-24

    Abstract: 本申请实施例提供了一种神经辐射场重建模型生成方法、装置、设备、介质及产品,涉及三维重建技术领域,方法包括:获取图像采集设备在每一预设位姿下采集的待重建对象的原始RGB图像和深度图像;对每一预设位姿进行调整,得到该预设位姿对应的虚拟位姿;针对每一虚拟位姿,基于得到该虚拟位姿所利用的预设位姿对应的原始RGB图像和深度图像生成三维点云,并将生成的三维点云投影至图像采集设备在该虚拟位姿下的图像平面,得到该虚拟位姿对应的伪RGB图像;利用得到的伪RGB图像和对应的虚拟位姿,以及原始RGB图像和对应的预设位姿,构建表示待重建对象的神经辐射场重建模型。如此,可以提高得到的神经辐射场重建模型的准确度。

    一种前向耗时的确定方法、装置及设备

    公开(公告)号:CN111753950B

    公开(公告)日:2024-02-27

    申请号:CN202010062768.7

    申请日:2020-01-19

    Abstract: 本申请提供一种前向耗时的确定方法、装置及设备,该方法包括:将待测神经网络划分为多个子网络;从多个子网络中选取至少一个子网络作为目标子网络;针对每个目标子网络,确定与所述目标子网络对应的子网络集合;子网络集合包括所述目标子网络和所述目标子网络的关联子网络,所述关联子网络为多个子网络中除所述目标子网络之外的子网络;根据子网络集合的信息获取所述目标子网络的耗时;根据每个目标子网络的耗时确定待测神经网络的前向耗时。通过本申请的技术方案,能够有效预测待测神经网络的前向耗时。

    一种模型蒸馏方法、装置、存储介质和电子设备

    公开(公告)号:CN117350365A

    公开(公告)日:2024-01-05

    申请号:CN202311269007.9

    申请日:2023-09-27

    Abstract: 本申请公开了一种模型蒸馏方法、装置、存储介质和电子设备,包括:利用通识模型对不同领域的存量数据样本进行识别;利用目标任务的训练样本集训练生成教师模型;利用通识模型对训练样本集中的训练样本进行识别;确定与训练样本语义相关的存量数据样本构成初筛样本集;为初筛样本集和训练样本集中的样本确定各实例的实例特征;在初筛样本集中选择其实例特征与训练样本的实例特征的相似程度在指定范围内的存量数据样本,构成搜索样本集;将搜索样本集和训练样本集作为蒸馏样本集,利用教师模型进行蒸馏训练,得到蒸馏后的学生模型。应用本申请,能够对训练样本域进行扩张,再基于扩张后多领域的样本进行蒸馏处理,从而提高模型在多场景的泛化能力。

    一种标签生成方法、装置、电子设备及存储介质

    公开(公告)号:CN117152571A

    公开(公告)日:2023-12-01

    申请号:CN202311021873.6

    申请日:2023-08-14

    Abstract: 本申请实施例提供了一种标签生成方法、装置、电子设备及存储介质,涉及机器学习技术领域,方法包括:将每一无标签数据输入至基于有标签数据训练得到的模型,得到表示该无标签数据属于各预设类别的概率的第一预测标签;基于无标签数据的数据特征和第一预测标签,对无标签数据进行聚类得到第一聚类簇,以及基于有标签数据的数据特征和真值标签,对有标签数据进行聚类得到第二聚类簇;针对每一第一聚类簇,基于该第一聚类簇与每一聚类簇集合之间的特征距离,得到表示该第一聚类簇属于每一预设类别的概率的第二预测标签;对每一无标签数据的第一预测标签和第二预测标签进行融合得到融合标签,并得到最终的标签。如此,可以生成无标签数据有效的标签。

    基于视频的目标检测方法、装置、设备及存储介质

    公开(公告)号:CN111860064B

    公开(公告)日:2023-10-20

    申请号:CN201910360492.8

    申请日:2019-04-30

    Inventor: 石大虎 谭文明

    Abstract: 本申请公开了一种基于视频的目标检测方法、装置、设备及存储介质,属于目标检测技术领域。所述方法包括:获取待检测视频中的连续N帧视频图像,该N为大于1的整数;调用目标检测模型,该目标检测模型至少包括三维卷积层和目标检测层,该三维卷积层用于将该N帧视频图像的特征进行卷积融合,该目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标;将该N帧视频图像输入至该目标检测模型中进行处理,输出目标检测结果。本申请基于特征关联后的目标特征图进行目标检测不仅可以保证检测的准确性,即避免漏检和误检的情况,而且还可以避免需要人工设计不同的规则,提高了目标检测的适应性。

Patent Agency Ranking