公开(公告)号：CN118470745B

公开(公告)日：2024-11-12

申请号：CN202410630950.6

申请日：2024-05-21

Applicant: 合肥工业大学

Inventor： 唐申庚 ,  姚骏 ,  王旭 ,  修雪玉 ,  董晓虎 ,  谭惟尹 ,  郭丹

IPC: G06V40/10 ,  G06V20/40 ,  G06V10/82 ,  G06F40/289 ,  G06F40/30

Abstract: 本发明公开了一种基于多模态语义交互增强的手语生成系统及方法，涉及计算机视觉、自然语言处理、深度学习等技术领域。本发明系统由文本编码模块、文本语义增强模块、手语姿态编码模块、跨模态语义交互模块、手语姿态解码模块、帧间运动优化模块和手语视频生成模块组成，可以充分适用于自然语句，并生成对应的手语视频，且保证了所生成手语视频的准确性。本发明解决了自然口语的语句文本生成对应手语视频的问题，通过全局文本语义理解和增强，使得手语视频生成的更加准确。采用跨模态语义交互，使得生成的手语视频更具有一致性。该手语生成系统及方法有效提升了自然口语的语句文本到手语视频的翻译性能。

公开(公告)号：CN118470745A

公开(公告)日：2024-08-09

申请号：CN202410630950.6

申请日：2024-05-21

Applicant: 合肥工业大学

Inventor： 唐申庚 ,  姚骏 ,  王旭 ,  修雪玉 ,  董晓虎 ,  谭惟尹 ,  郭丹

IPC: G06V40/10 ,  G06V20/40 ,  G06V10/82 ,  G06F40/289 ,  G06F40/30

Abstract: 本发明公开了一种基于多模态语义交互增强的手语生成系统及方法，涉及计算机视觉、自然语言处理、深度学习等技术领域。本发明系统由文本编码模块、文本语义增强模块、手语姿态编码模块、跨模态语义交互模块、手语姿态解码模块、帧间运动优化模块和手语视频生成模块组成，可以充分适用于自然语句，并生成对应的手语视频，且保证了所生成手语视频的准确性。本发明解决了自然口语的语句文本生成对应手语视频的问题，通过全局文本语义理解和增强，使得手语视频生成的更加准确。采用跨模态语义交互，使得生成的手语视频更具有一致性。该手语生成系统及方法有效提升了自然口语的语句文本到手语视频的翻译性能。