一种针对图像分类模型的后门检测及修复方法及系统

    公开(公告)号:CN113609482B

    公开(公告)日:2023-10-17

    申请号:CN202110796626.8

    申请日:2021-07-14

    Abstract: 本发明公开一种针对图像分类模型的后门检测及修复方法及系统,属于软件技术和信息安全技术领域,采用模型剪枝、迁移学习和浅层模型训练的方法,获得与后门模型的任务相同但没有后门的一系列对照模型;借助对照模型通过优化目标函数对后门模型的每一个类别进行逆向,获得一系列潜在触发器;利用贡献度热力图对潜在触发器进行精炼,只保留影响模型分类结果的关键特征;基于后门触发器和对抗补丁在对照模型上可迁移性的差异,区分出精炼后的潜在触发器的后门触发器和对抗补丁;将区分出的后门触发器加入到干净数据集中,通过对抗训练去除后门模型中的后门。本发明仅使用少量干净数据,即可对图像分类模型的后门检测及修复,生成正常模型。

    一种针对增强语言模型中知识图谱所有权验证方法

    公开(公告)号:CN117932570A

    公开(公告)日:2024-04-26

    申请号:CN202311803323.X

    申请日:2023-12-26

    Abstract: 本发明公开了一种针对增强语言模型中知识图谱所有权验证方法,其步骤包括:1)对于一个待保护的知识图谱集,对所述知识图谱集的每一知识图谱进行水印嵌入,将所选的水印子图嵌入到所述知识图谱集的每一知识图谱中;2)对于一待验证模型,对该待验证模型进行知识图谱蒸馏,获取蒸馏图谱;3)从所述蒸馏图谱提取所述水印子图,根据所提取出的水印子图在所述蒸馏图谱中出现的频率,如果该频率高于设定的阈值,则判定该待验证模型采用了该待保护的知识图谱集。本发明可以实现在不同增强方式的知识图谱增强语言模型场景中,只利用黑盒访问,实现精准、高效的水印验证,从而验证模型的所有权,可以保证水印的隐蔽性和鲁棒性。

    一种针对神经网络分类模型的隐私保护方法及装置

    公开(公告)号:CN117668897A

    公开(公告)日:2024-03-08

    申请号:CN202311541102.X

    申请日:2023-11-17

    Inventor: 赵月 陈恺 梁瑞刚

    Abstract: 本发明公开了一种针对神经网络分类模型的隐私保护方法及装置,该方法包括:构建模型遗忘数据集,并获取模型遗忘数据集中每一样本的软标签,模型遗忘数据集包括:基于训练目标模型的训练数据集A所得到的数据集A′和基于所述训练数据集A之外的样本所得到的数据集B′;基于数据集A′和对应的软标签,构建目标模型的遗忘触发器;基于模型遗忘数据集的样本与对应的软标签对目标模型进行定向遗忘的微调训练,得到微调后的目标模型;在测试样本中添加遗忘触发器后,送入微调后的目标模型,得到测试样本的预测结果。本发明能够大幅降低攻击者利用成员推断攻击窃取到模型训练数据隐私的成功率。

    一种针对图像分类模型的后门检测及修复方法及系统

    公开(公告)号:CN113609482A

    公开(公告)日:2021-11-05

    申请号:CN202110796626.8

    申请日:2021-07-14

    Abstract: 本发明公开一种针对图像分类模型的后门检测及修复方法及系统,属于软件技术和信息安全技术领域,采用模型剪枝、迁移学习和浅层模型训练的方法,获得与后门模型的任务相同但没有后门的一系列对照模型;借助对照模型通过优化目标函数对后门模型的每一个类别进行逆向,获得一系列潜在触发器;利用贡献度热力图对潜在触发器进行精炼,只保留影响模型分类结果的关键特征;基于后门触发器和对抗补丁在对照模型上可迁移性的差异,区分出精炼后的潜在触发器的后门触发器和对抗补丁;将区分出的后门触发器加入到干净数据集中,通过对抗训练去除后门模型中的后门。本发明仅使用少量干净数据,即可对图像分类模型的后门检测及修复,生成正常模型。

    一种针对卷积神经网络的可解释性方法及系统

    公开(公告)号:CN117934907A

    公开(公告)日:2024-04-26

    申请号:CN202311761097.3

    申请日:2023-12-20

    Abstract: 本发明提出一种针对卷积神经网络的可解释性方法及系统,属于软件技术、计算机视觉和机器学习领域。本发明基于原任务数据集,提取每一个类别的非该类别数据,构建无关特征测试数据集;基于图像分类的卷积神经网络模型,通过修改架构,构建由特征提取器与可解释分类器构成的可解释模型;使用原任务数据集和无关特征测试数据集,对可解释模型进行训练;可解释模型训练完成后,对每一个测试样本进行处理,输出预测结果和对应的决策解释结果。本发明能够对每个输入特征提供详细的归因解释,用户可以获得对分类决策起关键作用的特征信息,从而得到清晰的视觉解释。

    一种针对图像语义分割模型的图像预检方法和系统

    公开(公告)号:CN114677506A

    公开(公告)日:2022-06-28

    申请号:CN202210223847.0

    申请日:2022-03-09

    Inventor: 赵月 梁瑞刚 陈恺

    Abstract: 本发明涉及一种针对图像语义分割模型的图像预检方法和系统。该方法包括:利用能够识别目标信息的分类模型,对图像语义分割模型的训练数据集进行分类,实现对训练数据集的污染;修改图像语义分割模型,使其能够有效学习隐藏信息分类任务;通过设计目标函数,基于已污染的训练数据集训练修改后的图像语义分割模型,得到具有信息传递功能的图像语义分割模型;利用训练完成的具有信息传递功能的图像语义分割模型,识别待检测图像其中的隐藏图案并提取分类信息。本发明可以在不影响模型正常语义分割功能的前提下,以一种用户难以察觉的方式,传递用户图像是否为恶意图片的信息等。

Patent Agency Ranking