-
公开(公告)号:CN116662587B
公开(公告)日:2023-10-03
申请号:CN202310942873.3
申请日:2023-07-31
Applicant: 华侨大学
IPC: G06F16/53 , G06F16/55 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于查询生成器的人物交互检测方法、装置及设备,方法包括以下步骤:读取待检测的目标图像;利用特征提取器对所述目标图像进行特征提取获得图像特征;随机初始化一组人‑物对的先验边界框,将所述图像特征与所述先验边界框共同输入查询生成器,并基于所述查询生成器生成每层实例检测器和交互分类器所需的两组查询向量以及查询向量的位置信息;经由不同的解码器将输入的图像特征、查询向量和位置信息解码为特征向量组;根据所述特征向量组得到人物交互的预测结果。本发明将查询向量视为候选的人物交互检测结果,通过初始化人‑物对的先验边界框,来从中生成所需的查询向量,能够更精准且高效地进行人物交互行为识别。
-
公开(公告)号:CN113609948B
公开(公告)日:2023-09-05
申请号:CN202110861491.9
申请日:2021-07-29
Applicant: 华侨大学
IPC: G06V40/20 , G06V20/40 , G06V10/62 , G06V10/762 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/094
Abstract: 本发明提供了一种视频时序动作的检测方法、装置及设备,方法包括:获取视频数据,并提取所述视频数据的视频特征;将所述视频特征输入至锚分支网络以及无锚分支网络,以获取所述锚分支网络输出的第一输出结果,及所述无锚分支网络输出的第二输出结果,其中,所述锚分支网络以及所述无锚分支网络并行处理所述视频特征;调用对齐损失函数对所述第一输出结果及所述第二输出结果进行融合处理,生成时序动作定位结果集。解决了现有技术中对数据集的动作标注往往很模糊的问题。
-
公开(公告)号:CN116412832A
公开(公告)日:2023-07-11
申请号:CN202310135704.9
申请日:2023-02-20
Applicant: 华侨大学
IPC: G01C21/34
Abstract: 本发明提供了一种环卫车贴边清扫的路径规划方法、装置、设备及介质,包括:获取清扫区域的地图,并根据所述地图上的路口和路沿构建有向拓扑图,其中,所述有向拓扑图包括路沿交叉位置的标记节点、由路沿抽象成的边、以及边与节点组成的封闭图形;对所述有向拓扑图进行运算,生成可全连接所述封闭图形的集合;获取环卫车当前位置信息,并根据所述当前位置信息以及所述集合生成全局规划的节点顺序,其中,所述节点顺序用于局部路径规划,解决了全局规划不能完全覆盖所有路沿的问题。
-
公开(公告)号:CN111915613B
公开(公告)日:2023-06-13
申请号:CN202010798878.X
申请日:2020-08-11
Applicant: 华侨大学
IPC: G06V10/26 , G06N3/0464 , G06T5/00 , G06V10/82 , G06V10/80 , G06T7/10 , G06V20/70 , G06V10/764
Abstract: 本发明提供一种图像实例分割方法、装置、设备及存储介质,方法包括:提取图像的特征,获取特征图;通过自注意力模块提取特征图的多尺度信息,得到不同尺度的特征图,然后与通过1×1卷积调整维度得到的特征图点乘,为特征图引入像素级注意力;压缩特征图的空间维度,将特征图实数化,对低层特征图进行加权;将加权后的特征图与高层特征图融合,得到新的特征图;通过目标检测和语义分割对融合后特征图进行分类,获取目标检测和语义分割特征图;基于获取目标检测和语义分割特征图进行图像分割,获得分割结果。本发明通过自注意力模块和路径增强模块为后续特征融合提供了更为优秀的语义指导,为后续网络的训练学习减少了一定的噪声影响。
-
公开(公告)号:CN112733912B
公开(公告)日:2023-06-09
申请号:CN202011634407.1
申请日:2020-12-31
Applicant: 华侨大学
IPC: G06V10/82 , G06V10/764 , G06V10/774 , G06V10/80 , G06N3/0464 , G06N3/0475 , G06N3/094
Abstract: 本发明涉及一种基于多粒度对抗损失的细粒度图像识别方法,包括以下步骤:使用区域混淆机制破坏图像全局信息,并进行图像增强,迫使网络更加关注图像区域信息;使用渐进式学习策略在深度神经网络的不同层提取特征,联合不同粒度的图像特征,对每一个特征和原图特征联合进行分类;获取多粒度对抗损失函数,来降低因破坏图像的全局结构而引起的噪声。本发明将数据的不同粒度区域混淆,实现了数据增强,迫使网络关注到不同粒度图像的局部信息,采用渐进式学习策略,对每个阶段的特征进行学习且连接最后S个阶段的特征从而实现多粒度信息互补,构建多粒度对抗损失降低因破坏图像的全局结构而引入的噪声,因此可以更准确和高效的识别子类图像。
-
公开(公告)号:CN115439790A
公开(公告)日:2022-12-06
申请号:CN202211151940.1
申请日:2022-09-21
Applicant: 华侨大学
IPC: G06V20/40 , G06V10/764
Abstract: 本发明实施例提供一种基于级联的种子区域生长模块的弱监督时序动作定位方法,涉及视频动作识别技术领域。其中,这种弱监督时序动作定位方法包含步骤S1至步骤S5。S1、获取待识别视频。S2、根据待识别视频,提取时序特征。S3、将时序特征输入预先训练好的弱监督时序动作分类模型,获取待识别类激活序列,并根据待识别类激活序列,获取视频级动作分类得分。S4、获取动作分类阈值,并根据动作分类阈值对视频级分类得分进行判断,获取待识别视频包含的动作类别。S5、根据动作类别和待识别类激活序列,获取动作类别在待识别视频中的起止时刻。解决现有的弱监督时序动作定位方法会陷入局部最优的问题,大大提高了视频中动作识别的精确度。
-
公开(公告)号:CN110555387B
公开(公告)日:2022-07-19
申请号:CN201910711578.0
申请日:2019-08-02
Applicant: 华侨大学
IPC: G06V40/20 , G06V10/80 , G06V10/774 , G06V10/764 , G06V10/50 , G06V10/62 , G06K9/62
Abstract: 本发明属于人工智能技术领域,公开了一种骨架序列中基于局部关节点轨迹时空卷的行为识别方法,自输入的RGB视频数据和骨架关节点数据中提取局部关节点轨迹时空卷;利用基于RGB视频数据集的预训练模型提取图像特征;对训练集中每个关节点的每一种不同的特征分别构建码本并且分别进行编码,将n个关节点的特征串联为特征向量;利用SVM分类器进行行为分类与识别。本发明将手工特征以及深度学习特征融合,并使用深度学习方法提取局部特征,多种特征的融合可以达到一个稳定且准确的识别率;本发明使用姿态估计算法估计的2D人体骨架以及RGB视频序列提取特征,成本较低,且精度较高,应用于真实场景有着重要的意义。
-
公开(公告)号:CN110633683B
公开(公告)日:2022-03-25
申请号:CN201910888992.9
申请日:2019-09-19
Applicant: 华侨大学
IPC: G06V40/20 , G06V10/82 , G06V10/764 , G06V10/774 , G06N3/04 , G10L15/25
Abstract: 本发明公开了一种结合DenseNet和resBi‑LSTM的中文句子级唇语识别方法,本发明将唇语识别拆分为拼音预测与语言翻译两个部分,降低了唇语识别的难度。使用DenseNet提取视觉特征,充分利用浅层特征,有效缓解了梯度消失的问题,并且减少了网络的参数。使用1×1卷积代替全连接实现特征降维的功能,保留了特征中的空间信息,在唇语识别技术研究中,空间信息起着重要作用。使用resBi‑LSTM进行视觉特征的处理,最后得到结合了视觉特征和语义特征的复杂特征,减少了有效信息的损失,提高了唇语识别的准确率。
-
公开(公告)号:CN114170623A
公开(公告)日:2022-03-11
申请号:CN202111344563.9
申请日:2021-11-15
Applicant: 华侨大学
Abstract: 本发明提供了一种人物交互检测设备及其方法、装置、可读存储介质,包括:获取待检测的目标图像;根据所述目标图像生成输入参数集;输入参数集包括人体候选框集、物体候选框集、目标图像的全局特征和根据人体候选框集和物体候选框集生成HOI提议数据;调用训练好的基于多流架构的HOI检测模型;基于多流架构的HOI检测模型由多个不同流HOI检测模型并联形成;根据输入参数集获取各个流HOI检测模型的输入集,并将输入集输入至对应HOI检测模型,以获得每个HOI检测模型的输出;根据每个HOI检测模型输出计算得到最终交互预测分数,以输出采集到的目标图像中人物交互行为判断结果。旨在解决现有技术中HOI检测方法判断人物交互效果不佳,外观特征性能较差的问题。
-
公开(公告)号:CN112733912A
公开(公告)日:2021-04-30
申请号:CN202011634407.1
申请日:2020-12-31
Applicant: 华侨大学
Abstract: 本发明涉及一种基于多粒度对抗损失的细粒度图像识别方法,包括以下步骤:使用区域混淆机制破坏图像全局信息,并进行图像增强,迫使网络更加关注图像区域信息;使用渐进式学习策略在深度神经网络的不同层提取特征,联合不同粒度的图像特征,对每一个特征和原图特征联合进行分类;获取多粒度对抗损失函数,来降低因破坏图像的全局结构而引起的噪声。本发明将数据的不同粒度区域混淆,实现了数据增强,迫使网络关注到不同粒度图像的局部信息,采用渐进式学习策略,对每个阶段的特征进行学习且连接最后S个阶段的特征从而实现多粒度信息互补,构建多粒度对抗损失降低因破坏图像的全局结构而引入的噪声,因此可以更准确和高效的识别子类图像。
-
-
-
-
-
-
-
-
-