Invention Grant
- Patent Title: 样本净化方法、装置、设备及介质
-
Application No.: CN202410994732.0Application Date: 2024-07-23
-
Publication No.: CN118865024BPublication Date: 2025-04-25
- Inventor: 张宇东 , 谢若冰 , 孙兴武 , 康战辉
- Applicant: 腾讯科技(深圳)有限公司
- Applicant Address: 广东省深圳市南山区高新区科技中一路腾讯大厦35层
- Assignee: 腾讯科技(深圳)有限公司
- Current Assignee: 腾讯科技(深圳)有限公司
- Current Assignee Address: 广东省深圳市南山区高新区科技中一路腾讯大厦35层
- Agency: 北京三高永信知识产权代理有限责任公司
- Agent 孙晓丽
- Main IPC: G06V10/774
- IPC: G06V10/774 ; G06V10/764 ; G06V10/80 ; G06V10/82 ; G06V10/26 ; G06V10/30 ; G06N3/0455 ; G06N3/0464 ; G06N3/0475 ; G06N3/094

Abstract:
本申请公开了一种样本净化方法、装置、设备及介质,属于人工智能技术领域。该方法包括:获取对抗样本,对抗样本是对干净样本执行对抗攻击后生成的样本,对抗样本中包括对抗图像和文本;向对抗图像添加第一噪声后得到加噪图像;计算加噪图像对应的加噪跨模态注意力,加噪跨模态注意力用于描述加噪图像和文本的注意力分布;基于加噪跨模态注意力向对抗图像添加第二噪声,得到净化图像。本申请以跨模态注意力为引导,通过在对抗图像中添加噪声以实现净化,这种净化方式不仅是在处理对抗图像,同时也在优化跨模态注意力机制本身。视觉语言模型基于净化图像可以得到正确的预测结果,这种净化方式增强了视觉语言模型的鲁棒性。
Public/Granted literature
- CN118865024A 样本净化方法、装置、设备及介质 Public/Granted day:2024-10-29
Information query