一种基于SPD-Conv的非机动车违停监测方法

    公开(公告)号:CN117789138A

    公开(公告)日:2024-03-29

    申请号:CN202311852131.8

    申请日:2023-12-29

    Applicant: 福州大学

    Inventor: 柯逍 郑龙辉

    Abstract: 本发明涉及一种基于SPD‑Conv的非机动车违停监测方法,包括如下步骤:步骤S1:收集与非机动车相关的有效素材,构建初始数据集,然后采用GridMask结合Albumentations的数据增强方法对初始数据集进行数据增强操作,以进一步丰富数据集;步骤S2:构建改进的YOLOv7网络,包括在骨干网络以及头部网络中添加SPD‑Conv卷积构建块、加入自注意力和卷积集成并融合ACmix结构以及使用EIOU损失函数;步骤S3:将数据集投入训练,配置YOLOv7检测模块,构建非机动车行为判断模块。该方法能够准确有效地对非机动车的违章停放行为进行检测。

    一种基于Context-Aware的非机动车密度估计方法

    公开(公告)号:CN117593706A

    公开(公告)日:2024-02-23

    申请号:CN202311615462.X

    申请日:2023-11-28

    Applicant: 福州大学

    Inventor: 柯逍 郑龙辉

    Abstract: 本发明提供一种基于Context‑Aware的非机动车密度估计方法,首先,收集与非机动车相关的有效素材,构建初始数据集,采用Mixup结合Albumentations的数据增强方法,获得增强数据集。然后,对图片进行裁剪,生成hdf5文件,以形成最终数据集。然后,构建了深度学习网络,基于尺度感知上下文特征以及几何引导的语境学习,添加坐标注意力机制(Coordinate Attention),同时,定义损失函数L以及评价指标MAE,投入数据集循环训练网络,得到最优的模型文件。最后,将模型文件导入检测模块,对图像中非机动车的密度进行预测,进而估计数量。本发明可以布置于街道监控,实现对非机动车的流量监控的实时反馈。

    一种基于改进CA注意力机制的YOLOv7路面垃圾检测方法

    公开(公告)号:CN117523493A

    公开(公告)日:2024-02-06

    申请号:CN202311597365.2

    申请日:2023-11-28

    Applicant: 福州大学

    Inventor: 柯逍 郭子浩

    Abstract: 本发明提供了一种基于改进CA注意力机制的YOLOv7路面垃圾检测方法,包括:通过分布在城镇中的监控摄像头获得路面垃圾图像视频数据;对标注后的图像集利用GAN‑based与SMA融合的数据增强技术进行数据集增强处理,建立路面垃圾图像数据集;构建改进的YOLOv7网络,包括在YOLOv7网络中添加可变卷积网络和改进的CA注意力机制;将路面垃圾数据集输入到改进的YOLOv7目标检测模型中进行训练,利用SIOU作为边框损失函数;对待检测的路面图像进行垃圾检测,输出包含路面垃圾检测框的检测图像。本发明采用城镇监控视角所拍摄的路面图像,对路面垃圾能够进行快速且有效的识别。

    一种基于多模态向量记忆库的自监督缺陷检测方法

    公开(公告)号:CN117474854A

    公开(公告)日:2024-01-30

    申请号:CN202311410269.2

    申请日:2023-10-27

    Applicant: 福州大学

    Abstract: 本发明提出一种基于多模态向量记忆库的自监督缺陷检测方法,首先通过工业相机配合固定漫射光源扫描无异常样品;其次将样本的图像和点云数据输入预训练模型,得到样本的2D图像特征及3D点云特征;之后生成自监督信息,即随机对样本特征进行人为干扰,并将未扰动及扰动后的特征图分别输入至两组多模态交互融合模块与重映射模块中,输出编码后的特征向量;然后进行自监督学习,仅对其中一组多模态编码模块进行梯度更新。通过指数平均移动原理更新另一组模块的参数;最后移除多余模块,利用非异常样本的特征向量建立非异常特征记忆库,将测试融合特征与特征记忆库进行比对,检测当前样本是否是异常样本;本发明能够提供比单模态数据更精确的检测效果。

    基于长短时序关联的视频序列特征优化方法

    公开(公告)号:CN116844089A

    公开(公告)日:2023-10-03

    申请号:CN202310805176.3

    申请日:2023-07-03

    Applicant: 福州大学

    Inventor: 柯逍 刘浩

    Abstract: 本发明的目的是提出基于长短时序关联的视频序列特征优化方法。首先,通过利用提取行人序列平均特征值找出序列中与平均值偏差较大的视频帧将偏差最大的视频帧视为在该序列中出现的异常帧,提出了一种新的基于长时序异常挖掘的特征优化方法,本发明对异常帧进行计算获取,使用序列平均特征替换序列中异常帧对应特征,从而实现对异常帧的抑制,构建一个新的高质量的长时序特征样本;此外,为了挖掘短时序特征的局部变化,提出了一种新的基于相邻帧组合学习的特征优化方法,通过注意力机制挖掘组合内的共同特征,抑制相邻帧之间的异常信息,与长时序特征相结合进一步增强视频序列的表达能力,从而提升视频行人重识别网络的鲁棒性。

    一种小样本下骨架动作识别方法

    公开(公告)号:CN112651360B

    公开(公告)日:2023-04-07

    申请号:CN202011616955.1

    申请日:2020-12-31

    Applicant: 福州大学

    Inventor: 柯逍 杜鹏强

    Abstract: 本发明提出一种小样本下骨架动作识别方法,包括以下步骤;步骤S1:构建序列到序列生成网络对骨架运动序列进行生成、构建增强数据集;步骤S2:构建基于时空图卷积的序列质量评估网络,用于解决生成质量欠佳的骨架运动序列会对后续步骤产生负面影响的问题;步骤S3:构建基于多层次骨架分割算法的骨架动作识别网络;步骤S4:整合步骤S1、步骤S2、步骤S3构建的所有网络模型并使用;使用步骤S1的骨架序列生成网络生成骨架运动序列,使用步骤S2的骨架序列质量评估网络过滤步骤S1生成的质量较差的数据,优化数据集,使用步骤S3的骨架动作识别网络基于上述步骤构建的数据集进行骨架动作识别;本发明可用于小样本条件下的骨架动作识别。

    基于解耦特征引导的多模态文本页面分类方法

    公开(公告)号:CN115761757A

    公开(公告)日:2023-03-07

    申请号:CN202211374707.X

    申请日:2022-11-04

    Applicant: 福州大学

    Inventor: 柯逍 许培荣

    Abstract: 本发明涉及一种基于解耦特征引导的多模态文本页面分类方法,包括以下步骤:获取电子文本页面数据构建训练集,并基于训练集训练双流的端到端Transformer编码网络,所述双流的端到端Transformer编码网络包括视觉特征提取器、语言特征提取器和跨模态融合编码器;将待分类的电子文本页面的文本数据输入语言特征提取器获得深层语言特征;将待分类的电子文本页面的图像数据输入视觉特征提取器获得深层视觉特征;将得到的深层语言特征和深层视觉特征共同输入跨模态融合编码器获得多模态特征,并用于分类网络进行分类。本发明能够有效地通过多模态方法对电子文本页面进行准确分类。

    基于人体部件层级特征检测的肢体部件跟踪方法

    公开(公告)号:CN115631536A

    公开(公告)日:2023-01-20

    申请号:CN202211349251.1

    申请日:2022-10-31

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于人体部件层级特征检测的肢体部件跟踪方法,包括以下步骤:步骤S1:获取人体视频或者连贯图片,然后对人体各肢体部位进行目标框标注,构建数据集;步骤S2:基于YOLOv7的目标检测算法构建人体部件级目标检测器,并训练,然后根据训练后人体部件级目标检测器对待跟踪视频逐帧检测,提取肢体部件层级特征,并输出信息;步骤S3:利用步骤S2的输出结果,采用基于BoT‑SORT改进的目标跟踪算法对人体各肢体运动轨迹进行跟踪;步骤S4:利用基于肢体衔接性的方法和基于数据关联的方法对步骤S3的初步跟踪结果进行重识别和再处理,输出最终的跟踪结果。本发明方法能够有效地对视频图像中的人体各部件层级特征进行检测提取,实现对肢体部件的跟踪。

    基于语义分割与多模态的息肉状况快速诊断装置

    公开(公告)号:CN115631182A

    公开(公告)日:2023-01-20

    申请号:CN202211381144.7

    申请日:2022-11-01

    Applicant: 福州大学

    Inventor: 柯逍 陈观鸿

    Abstract: 本发明提出一种基于语义分割与多模态的息肉状况快速诊断装置,基于计算机系统,包括:息肉分割模型,采用改进后的BEIT网络对公开息肉数据集进行训练获得;息肉视频处理模块,用于将息肉扫描视频进行抽帧,使用所述息肉分割模型进行分割,生成的预测帧,再将预测帧集合通过光流法形成分割好的息肉视频;评价模块,用于根据息肉视频数据集,使用改进后的VX2TEXT网络针对所述息肉视频处理模块获得的息肉视频进行多模态训练,实现输入息肉扫描视频生成息肉状况评价。

Patent Agency Ranking