公开(公告)号：CN118484791A

公开(公告)日：2024-08-13

申请号：CN202311840207.5

申请日：2023-12-28

Applicant: 中国科学院软件研究所 ,  中国科学院信息工程研究所

Inventor： 张颖君 ,  吕培卓 ,  周庚 ,  陈恺 ,  程亮 ,  孙晓山 ,  张阳

IPC: G06F21/44 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于注意力机制的神经网络水印保护方法和系统。该方法包括：设置触发器的尺寸和位置，并使用注意力机制逆向生成触发器；使用逆向生成的触发器制作中毒数据集，利用中毒数据集对神经网络模型进行重训练，从而嵌入水印；在验证神经网络模型的水印时，将逆向生成的触发器加入干净数据样本中，并输入神经网络模型，根据输出结果判定神经网络模型是否被非法使用。本发明使用微调技术防止水印被恶意破坏或删除；本发明对调整的模型神经元数量进行限制，水印难以被攻击者检测到；本发明利用注意力机制使得生成的触发器集中在样本图片部分很小范围，不对其它部分的决策产生影响，攻击者不能通过伪造水印生成所有权。

公开(公告)号：CN117932570A

公开(公告)日：2024-04-26

申请号：CN202311803323.X

申请日：2023-12-26

Applicant: 中国科学院信息工程研究所

Inventor： 陈恺 ,  梁瑞刚 ,  马化龙 ,  吕培卓 ,  张颖君 ,  赵月

IPC: G06F21/16 ,  G06N5/022 ,  G06N3/082 ,  G06N3/096

Abstract: 本发明公开了一种针对增强语言模型中知识图谱所有权验证方法，其步骤包括：1)对于一个待保护的知识图谱集，对所述知识图谱集的每一知识图谱进行水印嵌入，将所选的水印子图嵌入到所述知识图谱集的每一知识图谱中；2)对于一待验证模型，对该待验证模型进行知识图谱蒸馏，获取蒸馏图谱；3)从所述蒸馏图谱提取所述水印子图，根据所提取出的水印子图在所述蒸馏图谱中出现的频率，如果该频率高于设定的阈值，则判定该待验证模型采用了该待保护的知识图谱集。本发明可以实现在不同增强方式的知识图谱增强语言模型场景中，只利用黑盒访问，实现精准、高效的水印验证，从而验证模型的所有权，可以保证水印的隐蔽性和鲁棒性。