基于对比学习的康复运动质量评估系统

    公开(公告)号:CN116453648A

    公开(公告)日:2023-07-18

    申请号:CN202310680538.0

    申请日:2023-06-09

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于对比学习的康复运动质量评估系统,其包括:三元组样本生成单元获取受试者的骨架序列集,并根据所述骨架序列集生成三元组样本;特征提取单元将所述三元组样本输入至特征提取网络中进行特征提取,以获得各个样本的特征;分数生成单元对提取到的各个样本的特征,使用高斯混合模型进行性能度量和分数映射,得到各个样本的分数;质量评估网络训练单元将生成的分数作为对应的样本的标签,将样本以及标签输入至质量评估网络中,对所述质量评估网络进行训练。质量评估单元基于训练得到的所述质量评估网络对采集的用户的骨架序列进行质量评估,获得预测分数。本发明解决了康复运动中缺乏专家评分标签导致的评估困难的问题。

    一种唇语关键词检测方法、装置、设备及存储介质

    公开(公告)号:CN111914803B

    公开(公告)日:2023-06-13

    申请号:CN202010827853.8

    申请日:2020-08-17

    Applicant: 华侨大学

    Abstract: 本发明提供一种唇语关键词检测方法、装置、设备及存储介质,其中方法包括:通过DNN方法训练,得到一个二分类的DNN模型;基于所述DNN模型,判断待检测的唇语视频中的每帧唇部图片的讲话状态,分离出所述唇语视频的讲话片段和非讲话片段;提取所述讲话片段,并通过唇语识别模型提取查询样例和讲话片段的每一帧唇部图片的特征,作为后验概率特征;基于所述后验概率特征构建相似度矩阵图;通过卷积神经网络分类模型对所述相似度矩阵图进行二分类,判断唇语视频中是否存在关键词。本发明通过端点检测、唇语识别器提取特征和构建相似度矩阵图,可降低未讲话片段对唇语关键词检测性能的影响,提高关键词检测的性能。

    一种汉字字体转换方法、装置、设备和存储介质

    公开(公告)号:CN114970447A

    公开(公告)日:2022-08-30

    申请号:CN202210579032.6

    申请日:2022-05-26

    Applicant: 华侨大学

    Abstract: 本发明实施例提供一种汉字字体转换方法、装置、设备和存储介质,涉及文字字体转换技术领域。其中,这种汉字字体转换方法包含步骤S1至步骤S3。S1、获取第一文字的第一字体图像和/或第二文字的第二字体图像。S2、获取基于对抗网络的字体转换模型。其中,对抗网络包含部首约束解码网络。S3、将第一文字的第一字体图像输入字体转换模型获取第一文字的第二字体图像,和/或将第二文字的第二字体图像输入字体转换模型获取第二文字的第一字体图像。本发明的汉字字体转换方法能够有效的避免字体转换过程中的笔画缺失、笔画中断、多笔画和笔画不完整等错误,并且接合了部首约束能够取得更好的字体转换效果。

    一种视频的时序动作检测方法、装置、设备及存储介质

    公开(公告)号:CN111327949B

    公开(公告)日:2021-12-21

    申请号:CN202010129341.4

    申请日:2020-02-28

    Applicant: 华侨大学

    Abstract: 本发明公开了一种视频的时序动作检测方法、装置、设备及计算机存储介质,方法包括:对视频进行特征提取,以获得视频特征向量;将所述视频特征向量输入至时序概率卷积神经网络中,以获得时序点概率分数;去除所述时序点概率分数的冗余时序点,以获得第一开始时序点和第一结束时序点;根据所述第一开始时序点和第一结束时序点,生成初始时序动作提名;根据初始时序动作提名,以获得时序动作提名的评价分数;根据时序动作提名的评价分数对时序提名进行分类,以完成视频的时序动作检测。本发明解决了现有技术视觉特征表达力不足的问题,以及提高时序动作检测准确度。

    文字识别模型的训练方法、装置、设备及可读存储介质

    公开(公告)号:CN113642619A

    公开(公告)日:2021-11-12

    申请号:CN202110861484.9

    申请日:2021-07-29

    Applicant: 华侨大学

    Abstract: 本发明提供了一种文字识别模型的训练方法、装置、设备及可读存储介质,包括:调用合成数据集对初始学习模型进行训练,以获得中间模型;调用真实数据集对所述中间模型进行训练,以获得文字识别模型,其中,所述文字识别模型用于接收图像采集装置采集到的图像,并根据所述图像生成文字对象的识别信息及其对应的位置信息。解决了现有技术无法识别不规则分布或者弯曲的文字。

    一种基于视觉特征的马赛克拼图的自动生成方法

    公开(公告)号:CN107133920B

    公开(公告)日:2021-07-30

    申请号:CN201710443083.5

    申请日:2017-06-13

    Applicant: 华侨大学

    Abstract: 本发明属于图像处理技术领域,公开了一种基于视觉特征的马赛克拼图的自动生成方法,将大量的小图像拼接成一副大图像。相比现在半自动的制作方式,自动生成方法基于图像底层特征,从有限的小图像素材集中找到一张最佳的图像拼接顺序,从而减少拼图中突兀的噪声块;采用基于信噪比的自适应图像叠加方法,避免在宏观上,大图局部细节的丢失。方法具体包括:大图的矩形分割;图像底层特征抽取;基于图像底层特征的小图像筛选;基于信噪比的自适应图像叠加。从拼图的效果上看,本发明的方法相比于目前的拼图方法有更好的视觉效果,与原图的误差较小;达到了人工手动调整的视觉效果,实现了全自动的马赛克拼图。

    一种图像实例分割方法、装置、设备及存储介质

    公开(公告)号:CN111915613A

    公开(公告)日:2020-11-10

    申请号:CN202010798878.X

    申请日:2020-08-11

    Applicant: 华侨大学

    Abstract: 本发明提供一种图像实例分割方法、装置、设备及存储介质,方法包括:提取图像的特征,获取特征图;通过自注意力模块提取特征图的多尺度信息,得到不同尺度的特征图,然后与通过1×1卷积调整维度得到的特征图点乘,为特征图引入像素级注意力;压缩特征图的空间维度,将特征图实数化,对低层特征图进行加权;将加权后的特征图与高层特征图融合,得到新的特征图;通过目标检测和语义分割对融合后特征图进行分类,获取目标检测和语义分割特征图;基于获取目标检测和语义分割特征图进行图像分割,获得分割结果。本发明通过自注意力模块和路径增强模块为后续特征融合提供了更为优秀的语义指导,为后续网络的训练学习减少了一定的噪声影响。

    基于特征融合图像实例分割方法、装置、设备及存储介质

    公开(公告)号:CN111914947A

    公开(公告)日:2020-11-10

    申请号:CN202010841858.6

    申请日:2020-08-20

    Applicant: 华侨大学

    Abstract: 本发明提供一种基于特征融和图像实例分割方法、装置、设备及存储介质,方法包括:获取待分割图像,将所述待分割图像通过去除BN层的ResNet卷积单元提取特征,获取特征图;将所述特征图与原始特征图输入到特征融合单元进行相加融合,将所述融合特征图输入到3×3的卷积单元,重新调整特征图,通过池化链从调整后特征图中提取背景上下文信息,融合多个不同感受野的特征图,获得池化后的特征图;将所述池化后的特征图输入到一个卷积单元,整合所述池化链的结果,获得整合后特征图;根据整合后特征图通过分类分割,获得实例分割结果。本发明通过自定义的特征融和模块进行处理,更高效的利用特征图信息,使最终处理的mask图信息更丰富,精确度更高。

Patent Agency Ranking