基于自适应注意力与时空关联的面部动作单元识别方法及装置

    公开(公告)号:CN114842542B

    公开(公告)日:2023-06-13

    申请号:CN202210606040.5

    申请日:2022-05-31

    Abstract: 本发明公开了一种基于自适应注意力与时空关联的面部动作单元识别方法及装置,先从视频数据中抽取模型训练所需要的原始连续图像帧组成训练数据集,再对原始图像帧进行预处理得到扩增图像帧序列,再构建卷积神经网络模块I提取扩增图像帧的分层多尺度区域特征,再构建卷积神经网络模块II进行面部动作单元自适应注意力回归学习,再构建自适应时空图卷积神经网络模块III学习面部动作单元时空关联,最后构建全连接层模块IV进行面部动作单元识别。本发明采用端到端的深度学习框架学习动作单元识别,利用面部动作单元之间的相互依赖关系以及时空相关性,能够有效识别面部肌肉在二维图像中的运动情况,实现面部动作单元识别系统构建。

    一种基于元学习与伪标签策略的增量语义分割方法

    公开(公告)号:CN116030254A

    公开(公告)日:2023-04-28

    申请号:CN202310047569.2

    申请日:2023-01-31

    Abstract: 本发明公开了一种基于元学习与伪标签策略的增量语义分割方法,包括:建立模型;表征训练,在每个增量步开始阶段,冻结除了特征提取器外的其他网络结构,利用临时分割头训练特征提取器;知识连接,仅更新掩码生成器与分割头的参数,冻结其他结构的参数,特征提取器提取训练数据的特征,掩码生成器生成掩码对语义分割网络进行分割;知识更新,利用元学习策略训练共享知识库,更新参数,进而获取可重复使用的知识以面对新任务;知识巩固,再次对掩码生成器与分割头进行训练,以巩固共享知识库中的新知识。本发明采用元学习算法可缓解模型对旧任务的遗忘,采用伪标签策略可解决背景类语义漂移问题。

    一种轻量级视频行人重识别方法

    公开(公告)号:CN110765880B

    公开(公告)日:2023-04-18

    申请号:CN201910903126.2

    申请日:2019-09-24

    Abstract: 本发明公开了一种轻量级视频行人重识别方法,属于计算机视觉技术处理技术领域。在搭建模型阶段,使用基于ShuffleNet v2的轻量级算法,同时,利用轻量级空间注意力机制模块处理人物图像细节,最后,通过一个在线差异识别模块来测量视频帧之间的特征差距,并使用该模块对不同质量的视频序列进行不同类型的时间建模。在模型训练阶段,输入行人的视频序列,使用上述搭建好的网络提取它们的特征表示,利用批量难分辨三元组损失和softmax损失共同训练并更新行人特征;在模型测试阶段,使用训练好的轻量级行人搜索模型对输入的目标查询行人,提取行人特征,并在大规模的视频序列中搜索出目标查询行人。本发明可应对大规模的现实场景图象,用于城市监控等安防领域。

    基于可变形自注意Transformer的遥感图像多视图重建方法

    公开(公告)号:CN115690321A

    公开(公告)日:2023-02-03

    申请号:CN202211406568.4

    申请日:2022-11-10

    Abstract: 本发明公开了一种基于可变形自注意transformer的遥感图像多视图重建方法,包括以下步骤:S1、对于给定的参考遥感图像和预设数量的源遥感图像,提取多尺度的特征图;S2、然后取第一尺度的遥感图像特征进行可变形自注意和特征压缩处理;S3、将处理的源遥感图像特征通过单应变换到参考遥感图像视角下,计算匹配代价形成代价体;S4、将得代价体经过正则化网络得到概率体,根据概率体得到初始的深度图;S5、利用初始深度图对第二阶段的深度假设值范围进行优化再结合第二阶段特征得到第二阶段深度图,依次类推得到最终的深度图;S6、接着计算最终的深度图和真实值之间的损失,根据得到的损失值训练整个网络来得到最终的深度图以得到遥感图像的三维结构。

    一种基于镜子分类与联合学习的镜子分割方法及装置

    公开(公告)号:CN115147602A

    公开(公告)日:2022-10-04

    申请号:CN202210798294.1

    申请日:2022-07-08

    Abstract: 本发明公开了一种基于镜子分类与联合学习的镜子分割方法及装置,根据摄像头获取日常生活中带有镜子的场景图片作为训练样本,经数据处理成为带标签的数据集,训练镜子分类子网络进行镜子二分类;然后构建基于注意力机制的镜子分割子网络进行镜子边缘特征提取;两个子网络共同构成镜子分割网络,联合训练两个子网络使得双任务相互促进,以获得更高的镜子分割准确率。本发明将视觉手性这一新兴的研究方向引入镜子分割问题,二者相辅相成,获得更优秀的镜子分割效果;本发明同时利用任务间的相关性促进镜子分割,能够识别绝大多数场景图片中的镜子,用以区分镜子所反射的内容和真实存在的内容。

    一种基于空间层次感知模块和度量学习的遥感图像目标检测方法

    公开(公告)号:CN111242026B

    公开(公告)日:2022-07-12

    申请号:CN202010030042.5

    申请日:2020-01-13

    Abstract: 本发明公开了一种基于空间层次感知模块和度量学习的遥感图像目标检测方法,解决在复杂环境下目标特征不明显以及类内目标特征差距大的目标检测问题。主要包括如下步骤:(a)构建预训练数据集;(b)利用空间层次感知模块构建特征金字塔;(c)对输入图像上的区域进行前景和背景的分类和定位;(d)对可能的目标特征进行分类和定位;(e)进行在线难样本挖掘;(f)利用度量学习拉近相同类别难样本特征之间的距离;(g)计算总损失,更新目标检测模型参数。本发明提出的辅助损失,通过度量学习可以拉近相同类别特征之间的距离,使得类内的目标更加容易识别,减少因类内目标特征差异过大造成的检测错误。

    一种井下人员跨越皮带异常行为检测方法及装置

    公开(公告)号:CN110647819B

    公开(公告)日:2022-02-01

    申请号:CN201910802003.X

    申请日:2019-08-28

    Abstract: 本发明公开一种井下人员跨越皮带异常行为检测方法及装置,将高清摄像头架设在皮带附近区域,实时监控皮带附近人员的行为;该方法包括:对皮带处的监控视频图像进行预处理,包括图像的低光增强和降噪处理;对预处理后的图像使用自下而上的姿态估计方法,获取人体关节点信息,在有小部分遮挡身体部位的情况下更能准确进行姿态估计;计算不同腿间脚踝关节点与膝盖关节点的相对距离λa,以及同一条腿腿部弯曲夹角θa,当λa≥阈值λ且θa≤阈值θ时,确定图像中人员存在跨越皮带的异常行为,发出报警信号。本发明能够在光线较弱的井下检测多人情况下人员跨越皮带的动作,该方法实时性高,误差小,运行速度快。

Patent Agency Ranking