-
公开(公告)号：CN116524402A
公开(公告)日：2023-08-01
申请号：CN202310471296.4
申请日：2023-04-27
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了基于多头自注意力的多时间跨度上下文建模动作识别方法，包括：获取待识别视频并提取视频帧形成第一特征序列；对第一特征序列进行采样获得高频时间轴采样流和低频时间轴采样流；分别通过第一多时间跨度上下文聚合模块和数据增强模块对高频时间轴采样流进行特征提取，对应形成第一上下文提取特征和第一增强特征，并通过第二多时间跨度上下文聚合模块对低频时间轴采样流进行特征提取，形成第二上下文提取特征；将两个上下文提取特征进行相加平均后再与第一增强特征进行相加聚合，形成第一聚合特征；将第一聚合特征输入后处理模块获取动作识别结果。该方法能具有优秀的时序动作定位性能，动作识别准确率高。
-
公开(公告)号：CN116503945B
公开(公告)日：2025-04-08
申请号：CN202310471308.3
申请日：2023-04-27
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于Transformer和错位对齐策略的小样本动作识别方法，包括：获取查询集视频和支持集视频；获得对应的第一图像集和第二图像集；对图像集进行采样并裁剪，裁剪后的第一图像集形成第一图像序列，每个裁剪后的第二图像集形成一个第二图像序列，将第一图像序列和一个第二图像序列视为一组；建立动作识别模型，动作识别模型包括依次连接的改进ResNet网络模型、时空特征编码器和多粒度特征对齐模块，并获取每组第一图像序列和第二图像序列对应的多粒度动作概率；采用分类器获取全部多粒度动作概率中概率最高的动作类别作为对应待识别动作类别视频的动作识别结果。该方法能够提升小样本动作视频分类的准确度和效率。
-
公开(公告)号：CN118155283A
公开(公告)日：2024-06-07
申请号：CN202410288694.7
申请日：2024-03-14
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V40/20 , G06V10/46 , G06N3/0464 , G06V10/82 , G06V10/80 , G06N3/045 , G06V10/764
Abstract: 本发明公开了一种基于多中心多模态的图卷积网络的骨架动作识别方法，包括如下步骤：步骤1、获取骨架数据并进行数据预处理和数据增强；步骤2、经步骤1处理后的骨架数据的关节流态作为一阶骨骼数据；步骤3、对关节流态进行处理得到二阶骨架数据，所述二阶骨骼数据包括骨骼流态；步骤4、应用GPT‑3模型，将人体动作识别数据作为输入生成离线动作的文本描述数据；步骤5、构建并训练多中心多模态图卷积网络模型；步骤6、分别将关节流态数据、骨骼流态数据以及文本描述数据输入输出最后的预测结果。该方法方便网络在极端尺度变化下识别和检测对象，实现注意特征融合。有助于提高人体行为的预测精确度。
-
公开(公告)号：CN114821640B
公开(公告)日：2023-07-18
申请号：CN202210381360.5
申请日：2022-04-12
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法，包括：获取人体行为视频并预处理；从预处理后的视频中提取每帧图像的人体骨架数据形成骨架序列；填充骨架序列形成新的骨架序列；基于新的骨架序列获取每帧图像的二阶信息数据；基于二阶信息数据的类别和新的骨架序列分别对应建立训练集和标签；建立膨胀时空图卷积网络模型；将各类训练集和标签输入膨胀时空图卷积网络模型进行训练；将待识别的视频建立训练集后输入预训练好的模型，获取的融合结果即为最终预测结果。该方法可更好地获取网络不同层的语义信息，并在不增加计算量的情况下结合数量更多、特征更明显的关节数据实现人体行为预测，大大提高人体行为的预测精确度。
-
公开(公告)号：CN116665300A
公开(公告)日：2023-08-29
申请号：CN202310609183.6
申请日：2023-05-29
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V40/20 , G06V10/80 , G06V10/82 , G06V10/774 , G06V10/764 , G06N3/0464 , G06N3/048 , G06N3/045 , G06N3/082
Abstract: 本发明公开了一种基于时空自适应特征融合图卷积网络的骨架动作识别方法，包括如下步骤：S1、获取人体的骨架动作序列的原始数据集并进行数据预处理和数据增强；S2、对预处理和数据增强后得到的骨架数据进行处理，得到骨架数据的二阶骨骼信息；S3、将关节运动流态和骨骼运动流态整合形成肢体流；S4、构建时空自适应特征融合图卷积网络；S5、分别将关节流态、骨骼流态和肢体流数据输入到时空自适应特征融合图卷积网络中进行训练，获取对应的初始预测结果和softmax分数，最终通过权重相加的方式融合输出最后的预测结果。该方法可更充分地提取不同尺度上下文信息，结合数量更多、特征更明显的关节数据以实现人体行为预测，有助于提高人体行为的预测精确度。
-
Patent Agency Ranking
公开(公告)号：CN114821640A
公开(公告)日：2022-07-29
申请号：CN202210381360.5
申请日：2022-04-12
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了基于多流多尺度膨胀时空图卷积网络的骨架动作识别方法，包括：获取人体行为视频并预处理；从预处理后的视频中提取每帧图像的人体骨架数据形成骨架序列；填充骨架序列形成新的骨架序列；基于新的骨架序列获取每帧图像的二阶信息数据；基于二阶信息数据的类别和新的骨架序列分别对应建立训练集和标签；建立膨胀时空图卷积网络模型；将各类训练集和标签输入膨胀时空图卷积网络模型进行训练；将待识别的视频建立训练集后输入预训练好的模型，获取的融合结果即为最终预测结果。该方法可更好地获取网络不同层的语义信息，并在不增加计算量的情况下结合数量更多、特征更明显的关节数据实现人体行为预测，大大提高人体行为的预测精确度。
-
公开(公告)号：CN116678370A
公开(公告)日：2023-09-01
申请号：CN202310663492.1
申请日：2023-06-06
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
Abstract: 本发明公开了一种基于矩形信息的单目视觉平面测距方法，包括如下步骤：在玻璃移动所在的待测平面上放置一已知的矩形物体，通过拍摄相机获得图片，并取得拍摄相机的参数；取得已知矩形四个顶点在图片上的坐标以及矩形的实际对角长；根据获取的矩形顶点坐标、对角长以及拍摄相机的参数，得到预设参数并保存；读取玻璃上第一待测点在图片上的坐标，并根据得到的预设参数得到第一待测点对应的向量；读取玻璃上第二待测点在图片上的坐标，并根据得到的预设参数得到第二待测点对应的向量，可得到两个待测点之间的真实距离。该方法相比传统的单目视觉计算方案具有更少的计算量，解决透明物体难测的问题，同时保证足够的精度。
-
公开(公告)号：CN114821420B
公开(公告)日：2023-07-25
申请号：CN202210448080.1
申请日：2022-04-26
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
IPC: G06V20/40 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多时间分辨率时态语义聚合网络的时序动作定位方法，包括：获取原始视频并进行预处理，预处理为从原始视频中提取特征序列并注释标签；复制特征序列为N＇份，并通过卷积层将复制后的各特征序列的时间分辨率调整为不同值；建立多时间分辨率时态语义聚合网络；将时间分辨率调整后的各特征序列一一对应输入子模块，采用分类损失和回归损失训练多时间分辨率时态语义聚合网络；利用训练好的多时间分辨率时态语义聚合网络预测待识别视频的动作开始时间、动作结束时间、动作种类和置信分数。该方法可获得更灵活更具鲁棒性的上下文关系表达，并大大提高计算能力和时序动作定位的准确性。
-
公开(公告)号：CN116012950B
公开(公告)日：2023-06-30
申请号：CN202310117822.7
申请日：2023-02-15
Applicant: 杭州电子科技大学信息工程学院 , 杭州电子科技大学
IPC: G06V40/20 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于多重心时空注意图卷积网络的骨架动作识别方法，包括：对预处理后的人体行为视频进行一阶骨骼信息提取并形成第一骨架序列；将第一骨架序列转换为第二骨架序列；获取每帧图像的二阶骨骼信息；根据四种流态数据对应建立四类训练集和标签；建立多重心时空注意图卷积网络模型并训练；将待识别的人体行为视频输入训练好的模型，获取对应的初始预测结果和softmax分数；根据初始预测结果利用多重心特征融合单元计算对应权重系数；采用特征融合模块将各softmax分数进行加权融合获得骨架动作识别结果。该方法可结合数量更多、特征更明显的关节数据以实现人体行为预测，提高预测精确度。
-
公开(公告)号：CN114821420A
公开(公告)日：2022-07-29
申请号：CN202210448080.1
申请日：2022-04-26
Applicant: 杭州电子科技大学 , 杭州电子科技大学信息工程学院
Abstract: 本发明公开了一种基于多时间分辨率时态语义聚合网络的时序动作定位方法，包括：获取原始视频并进行预处理，预处理为从原始视频中提取特征序列并注释标签；复制特征序列为N＇份，并通过卷积层将复制后的各特征序列的时间分辨率调整为不同值；建立多时间分辨率时态语义聚合网络；将时间分辨率调整后的各特征序列一一对应输入子模块，采用分类损失和回归损失训练多时间分辨率时态语义聚合网络；利用训练好的多时间分辨率时态语义聚合网络预测待识别视频的动作开始时间、动作结束时间、动作种类和置信分数。该方法可获得更灵活更具鲁棒性的上下文关系表达，并大大提高计算能力和时序动作定位的准确性。
-
-
-
-
-
-
-
-
-
Search Results
48
records
(took 0.052 seconds)
