-
公开(公告)号：CN111339782B
公开(公告)日：2023-03-28
申请号：CN202010103960.6
申请日：2020-02-20
Applicant: 合肥工业大学
IPC: G06F40/30 , G06V20/40 , G06V40/20 , G06V10/762 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多层次语义解析的手语翻译系统及方法，该方法包括：1、使用卷积神经网络提取手语视频数据的视频帧特征；2、串联相邻的视频帧特征，并构建全连接网络学习串联后的视频帧特征，得到连续的视素单元；3、串联相邻的视素单元，并使用池化方法对串联后的视素单元进行降维压缩，得到视觉子动作特征；4、将视觉子动作特征聚类成多个动作块，并分别对每个动作块进行采样，输出一连串的动作块特征；5、构建循环神经网络，将连续的动作块特征转换成单词序列；6、使用联结主义时序分类模型将单词序列翻译成手语句子。本发明能从长时手语视频中翻译出自然语句，并提高连续手语翻译的准确性和连贯性。
-
公开(公告)号：CN119150235B
公开(公告)日：2025-02-11
申请号：CN202411612365.X
申请日：2024-11-13
Applicant: 合肥工业大学
IPC: G06F18/25 , G06F18/22 , G06F40/284 , G06F40/30 , G06N3/0455 , G06N3/0895
Abstract: 本发明公开了基于跨模态语义关联学习的运动姿态生成方法，涉及深度学习和运动姿态生成的技术领域，对文本进行处理得到文本特征序列，对运动姿态视频进行处理得到姿态特征序列；利用解码器对文本特征序列进行解码得到解码后的姿态特征序列；计算文本特征序列与解码后的姿态特征序列之间的余弦相似度；对于一个批次的样本数据，计算每个样本的文本特征序列与解码后的姿态特征序列之间的距离，构建距离矩阵；根据姿态损失、跨模态语义对齐损失和多模态语义对比损失得到目标优化函数，并进行模型训练；利用训练后的模型对文本进行运动姿态生成。本发明提高运动姿态视频生成的准确性和连贯性。
-
公开(公告)号：CN118470745B
公开(公告)日：2024-11-12
申请号：CN202410630950.6
申请日：2024-05-21
Applicant: 合肥工业大学
IPC: G06V40/10 , G06V20/40 , G06V10/82 , G06F40/289 , G06F40/30
Abstract: 本发明公开了一种基于多模态语义交互增强的手语生成系统及方法，涉及计算机视觉、自然语言处理、深度学习等技术领域。本发明系统由文本编码模块、文本语义增强模块、手语姿态编码模块、跨模态语义交互模块、手语姿态解码模块、帧间运动优化模块和手语视频生成模块组成，可以充分适用于自然语句，并生成对应的手语视频，且保证了所生成手语视频的准确性。本发明解决了自然口语的语句文本生成对应手语视频的问题，通过全局文本语义理解和增强，使得手语视频生成的更加准确。采用跨模态语义交互，使得生成的手语视频更具有一致性。该手语生成系统及方法有效提升了自然口语的语句文本到手语视频的翻译性能。
-
公开(公告)号：CN114723946A
公开(公告)日：2022-07-08
申请号：CN202210374860.6
申请日：2022-04-11
Applicant: 合肥工业大学
Abstract: 本发明公开了一种基于语义分割的择优式方向偏移预警系统和方法，该系统包括：语义分割模块，偏移检测模块，择优模块和偏移预警模块；该方法包括：1.使用语义分割网络提取道路像素的分布信息；2.两个识别道路边缘的过程并行进行得到两组结果；3.择优模块对偏移检测模块输出的两个结果进行评估选择根优的结果，增强算法的鲁棒性；4.通过对道路边缘信息的处理得到预警结果。本发明能实现对道路边缘信息的进行处理，并据此给出偏移预警，从而保证道路安全。
-
公开(公告)号：CN116448130A
公开(公告)日：2023-07-18
申请号：CN202310228006.3
申请日：2023-03-06
Applicant: 合肥工业大学
IPC: G01C21/34 , G06F16/29 , G06F16/22 , G06F16/245 , G06T11/40
Abstract: 本发明公开了一种基于带权无向图的视障人士路线规划方法，包括：1.道路数据库的构建和道路数据集的收集；2.将道路抽象成带权无向图；3.根据带权无向图的信息获取一条最优导航路线；4.基于目标检测网络辅助视障人士通过红绿灯路口；5.用户偏离道路后轨迹纠正，并发出提醒。本发明能综合道路的长度、宽度、类别、人流量等信息，从而为视障人士推荐一条路况良好、距离较近的路线，进而能保障视障人士的安全出行。
-
Patent Agency Ranking
公开(公告)号：CN111259804B
公开(公告)日：2023-03-14
申请号：CN202010049714.7
申请日：2020-01-16
Applicant: 合肥工业大学
IPC: G06V40/20 , G06V40/10 , G06V10/764 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于图卷积的多模态融合手语识别系统及方法，该系统包括：特征提取模块，特征融合模块，序列学习模块和对齐翻译模块；该方法包括：1使用卷积神经网络和图神经网络分别对手语视频数据库提取视频帧的颜色、深度和骨架特征；2组合多模态特征，并通过多模态序列融合网络融合特征；3构建双向循环神经网络对融合后的一连串片段级别特征进行序列学习；4、过联结主义时序分类模型对齐特征序列，并翻译出完整的手语句子。本发明能实现对连续手语句子的翻译，并提高连续手语翻译的准确性。
-
公开(公告)号：CN111339782A
公开(公告)日：2020-06-26
申请号：CN202010103960.6
申请日：2020-02-20
Applicant: 合肥工业大学
Abstract: 本发明公开了一种基于多层次语义解析的手语翻译系统及方法，该方法包括：1、使用卷积神经网络提取手语视频数据的视频帧特征；2、串联相邻的视频帧特征，并构建全连接网络学习串联后的视频帧特征，得到连续的视素单元；3、串联相邻的视素单元，并使用池化方法对串联后的视素单元进行降维压缩，得到视觉子动作特征；4、将视觉子动作特征聚类成多个动作块，并分别对每个动作块进行采样，输出一连串的动作块特征；5、构建循环神经网络，将连续的动作块特征转换成单词序列；6、使用联结主义时序分类模型将单词序列翻译成手语句子。本发明能从长时手语视频中翻译出自然语句，并提高连续手语翻译的准确性和连贯性。
-
公开(公告)号：CN111259804A
公开(公告)日：2020-06-09
申请号：CN202010049714.7
申请日：2020-01-16
Applicant: 合肥工业大学
Abstract: 本发明公开了一种基于图卷积的多模态融合手语识别系统及方法，该系统包括：特征提取模块，特征融合模块，序列学习模块和对齐翻译模块；该方法包括：1使用卷积神经网络和图神经网络分别对手语视频数据库提取视频帧的颜色、深度和骨架特征；2组合多模态特征，并通过多模态序列融合网络融合特征；3构建双向循环神经网络对融合后的一连串片段级别特征进行序列学习；4、过联结主义时序分类模型对齐特征序列，并翻译出完整的手语句子。本发明能实现对连续手语句子的翻译，并提高连续手语翻译的准确性。
-
公开(公告)号：CN118470745A
公开(公告)日：2024-08-09
申请号：CN202410630950.6
申请日：2024-05-21
Applicant: 合肥工业大学
IPC: G06V40/10 , G06V20/40 , G06V10/82 , G06F40/289 , G06F40/30
Abstract: 本发明公开了一种基于多模态语义交互增强的手语生成系统及方法，涉及计算机视觉、自然语言处理、深度学习等技术领域。本发明系统由文本编码模块、文本语义增强模块、手语姿态编码模块、跨模态语义交互模块、手语姿态解码模块、帧间运动优化模块和手语视频生成模块组成，可以充分适用于自然语句，并生成对应的手语视频，且保证了所生成手语视频的准确性。本发明解决了自然口语的语句文本生成对应手语视频的问题，通过全局文本语义理解和增强，使得手语视频生成的更加准确。采用跨模态语义交互，使得生成的手语视频更具有一致性。该手语生成系统及方法有效提升了自然口语的语句文本到手语视频的翻译性能。
-
公开(公告)号：CN114724053B
公开(公告)日：2024-02-20
申请号：CN202210371804.7
申请日：2022-04-11
Applicant: 合肥工业大学
IPC: G06V20/20 , G06V10/774 , G06V10/764 , G06T3/14 , G06V10/26 , G06V10/82 , G06T7/55 , G10L15/18 , G10L15/22
Abstract: 本发明公开了一种基于深度智能交互的室外视障辅助方法，包括：1.获取图像和语音数据；2.根据图像数据获得深度图；3.基于目标检测网络获取目标信息；4.基于语义分割网络获取路面信息；5.将目标信息和道路信息映射到世界坐标系中；6.对目标和道路边缘实时检测并语音播报。本发明能快速准确的分析使用者前方的目标和道路边缘的位置及距离，并通过语音进行反馈，从而能保障视障人士的出行安全。
-
-
-
-
-
-
-
-
-
Search Results
18
records
(took 0.023 seconds)
