公开(公告)号：CN119479026A

公开(公告)日：2025-02-18

申请号：CN202411330384.3

申请日：2024-09-24

Applicant: 华中科技大学

Inventor： 郑汉东 ,  张凯乐 ,  王鹏杰 ,  万金鹏 ,  肖文清 ,  匡嚞玢 ,  管海粟 ,  李长 ,  刘禹良

IPC: G06V40/16 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及人工智能技术领域，提供了一种用于反诈与风险识别的多模态风险数据合成方法。方法包括：获取目标人脸图像、目标声音数据以及包含人脸和声音的视频；在获取的视频或图像中，通过深度伪造技术将原有人脸替换为目标人脸，将视频中的原始声音替换为目标声音；对生成的多模态数据中的图像和音频的标注；将伪造合成的多模态数据及其标注输入多模态大模型，对多模态数据进行识别和分析，生成风险摘要。本发明构建了一个系统化的多模态风险内容生成流程，满足了多模态大模型对高质量训练数据的需求，并通过将伪造数据与多模态大模型结合使用，从而充分发挥合成数据在风险分析中的优势，显著提升对复杂多模态场景中潜在风险的识别和应对能力。

公开(公告)号：CN119296186A

公开(公告)日：2025-01-10

申请号：CN202411330378.8

申请日：2024-09-24

Applicant: 华中科技大学

Inventor： 管海粟 ,  匡嚞玢 ,  肖文清 ,  万金鹏 ,  张凯乐 ,  王鹏杰 ,  李长 ,  郑汉东 ,  刘禹良

IPC: G06V40/40 ,  G06V40/16 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及人工智能技术领域，提供了一种基于多条件输入的人脸伪造分割方法。方法包括：提取到图像中的特征底噪；提取到图像中的高频信息。构建一个多条件输入分割神经网络，对多条件输入分割神经网络进行高效微调训练，直至多条件输入分割神经网络收敛。利用训练好的多条件输入分割神经网络模型对图片进行推理，分割神经网络模型最终输出和原始图像大小一致的二值分割图，检测并定位图像中的人脸伪造区域。本发明通过提取伪造图像中的特征底噪和高频信息，并将这些信息作为额外条件和原始图像一起输入到分割网络中，利用设计好的多条件输入高效微调架构对模型进行训练，使得模型能够预测二值分割图，从而检测并精准定位图像中的人脸伪造区域。

公开(公告)号：CN119339419A

公开(公告)日：2025-01-21

申请号：CN202411330377.3

申请日：2024-09-24

Applicant: 华中科技大学

Inventor： 李长 ,  万金鹏 ,  张凯乐 ,  王鹏杰 ,  匡嚞玢 ,  肖文清 ,  管海粟 ,  郑汉东 ,  刘禹良

IPC: G06V40/16 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及人工智能技术领域，提供了一种基于多模态大模型的风险内容识别方法。方法包括：识别音频中的伪造部分；对目标人脸图像提取底噪特征和高频特征输入图像分割模型，定位伪造区域；对目标人脸图像进行切块，将切块得到的局部区域图像和全局图像输入视觉编码器提取视觉特征；计算文本特征和全局图像特征对局部图像特征的注意力，丢弃注意力小的局部图像特征；将音频分割模型、图像分割模型的输出、图像特征和问题输入大语言模型中，总结出风险点。本发明通过整合多种数据来源，并基于多模态大模型进行风险识别，提高了识别的准确性和鲁棒性，还能够有效应对多种诈骗手段，解决了现有技术无法应对多个模态的数据和缺乏可解释性的问题。