样本净化方法、装置、设备及介质
Abstract:
本申请公开了一种样本净化方法、装置、设备及介质,属于人工智能技术领域。该方法包括:获取对抗样本,对抗样本是对干净样本执行对抗攻击后生成的样本,对抗样本中包括对抗图像和文本;向对抗图像添加第一噪声后得到加噪图像;计算加噪图像对应的加噪跨模态注意力,加噪跨模态注意力用于描述加噪图像和文本的注意力分布;基于加噪跨模态注意力向对抗图像添加第二噪声,得到净化图像。本申请以跨模态注意力为引导,通过在对抗图像中添加噪声以实现净化,这种净化方式不仅是在处理对抗图像,同时也在优化跨模态注意力机制本身。视觉语言模型基于净化图像可以得到正确的预测结果,这种净化方式增强了视觉语言模型的鲁棒性。
Public/Granted literature
Patent Agency Ranking
0/0