一种基于一致性蒸馏的人像动画生成方法及系统

    公开(公告)号:CN119672188A

    公开(公告)日:2025-03-21

    申请号:CN202411940358.2

    申请日:2024-12-26

    Abstract: 本申请属于计算机视觉与视频生成领域,具体公开了一种基于一致性蒸馏的人像动画生成方法及系统。方法包括:收集参考图像样本和人体姿态序列样本作为训练集,基于所述训练集构建预训练的教师模型,所述教师模型用于生成目标视频;初始化一致性蒸馏模型得到学生模型,通过轨迹分段一致性蒸馏法将所述教师模型的知识传递给学生模型;通过辅助损失优化、动态区域加权优化以及面部细节注入对所述学生模型进行优化,得到优化模型;将待推理的参考图像和人体姿态序列输入至所述优化模型中,得到人像动画视频。通过本申请能够有效提升生成视频的时序一致性、连贯性和细节保真度。

    一种基于R-C3D网络的端到端视频时序行为检测方法

    公开(公告)号:CN110738129A

    公开(公告)日:2020-01-31

    申请号:CN201910892237.8

    申请日:2019-09-20

    Abstract: 本发明公开了一种基于R-C3D网络的端到端视频时序行为检测方法,属于计算机视觉领域,该方法包括:对输入视频进行帧率调整和帧提取,将提取到的帧进行归一化和数据增强后,作为训练集和测试集;构建时序行为检测模型;该时序行为检测模型包括特征提取模块、长时信息编码模块和行为识别模块;其中长时信息编码模块,对提取的特征图进行编码,得到包含长时间信息的特征;将训练集和测试集输入时序行为检测模型中进行训练;将待检测视频输入训练好的时序行为检测模型进行检测,得到视频中存在的行为类别和定位信息。本发明通过设计长时信息编码网络,对提取的特征进行编码,使得网络能够获得时序动作的全局时间信息,提高了动作定位和分类的准确度。

    一种基于GAN和SSN的时序行为检测方法

    公开(公告)号:CN110414367A

    公开(公告)日:2019-11-05

    申请号:CN201910599488.7

    申请日:2019-07-04

    Abstract: 本发明公开了一种基于GAN和SSN的时序行为检测方法,属于计算机视觉技术领域,所述方法包括:对视频数据进行帧提取和光流计算,并对每一帧图像或光流图像进行归一化和数据增强;选取所述视频数据中具有动作性片段的连续时间区域作为提议,并将选取出的提议对应的帧图像,作为训练集和测试集;构建包括结构化分段网络和生成对抗网络的时序行为检测模型;将训练集和测试集输入所述时序行为检测模型进行训练,得到训练好的时序行为检测模型;将待识别的视频输入训练好的时序行为检测模型,得到视频中存在的行为类别,与行为对应的起始位置和结束位置。本发明提高了网络对于背景和行为的分辨能力,对视频中的时序行为检测有较高的识别精度。

    一种利于模糊核估计的图像区域选择方法和系统

    公开(公告)号:CN107403414B

    公开(公告)日:2018-11-02

    申请号:CN201710572664.9

    申请日:2017-07-14

    Abstract: 本发明公开了一种利于模糊核估计的图像区域选择方法和系统,其中方法的实现包括:计算模糊图像中每一像素点的相对总变分值并得到其相对总变分映射图;设定阈值确定图像中每一像素点是否为边界像素点;再对模糊图像以及其相对总变分映射图进行采样,得到一系列图像块;最后统计每一图像块中边界像素点的数量并选择出有利于模糊核估计的图像区域。本发明有效解决了现有区域选择方法中存在的过于依赖操作者经验,效率低等问题,自动选择出有利于模糊核估计的图像区域,适用于图像去模糊算法中模糊核估计的应用场合。

    一种基于R-C3D网络的端到端视频时序行为检测方法

    公开(公告)号:CN110738129B

    公开(公告)日:2022-08-05

    申请号:CN201910892237.8

    申请日:2019-09-20

    Abstract: 本发明公开了一种基于R‑C3D网络的端到端视频时序行为检测方法,属于计算机视觉领域,该方法包括:对输入视频进行帧率调整和帧提取,将提取到的帧进行归一化和数据增强后,作为训练集和测试集;构建时序行为检测模型;该时序行为检测模型包括特征提取模块、长时信息编码模块和行为识别模块;其中长时信息编码模块,对提取的特征图进行编码,得到包含长时间信息的特征;将训练集和测试集输入时序行为检测模型中进行训练;将待检测视频输入训练好的时序行为检测模型进行检测,得到视频中存在的行为类别和定位信息。本发明通过设计长时信息编码网络,对提取的特征进行编码,使得网络能够获得时序动作的全局时间信息,提高了动作定位和分类的准确度。

    一种基于GAN和SSN的时序行为检测方法

    公开(公告)号:CN110414367B

    公开(公告)日:2022-03-29

    申请号:CN201910599488.7

    申请日:2019-07-04

    Abstract: 本发明公开了一种基于GAN和SSN的时序行为检测方法,属于计算机视觉技术领域,所述方法包括:对视频数据进行帧提取和光流计算,并对每一帧图像或光流图像进行归一化和数据增强;选取所述视频数据中具有动作性片段的连续时间区域作为提议,并将选取出的提议对应的帧图像,作为训练集和测试集;构建包括结构化分段网络和生成对抗网络的时序行为检测模型;将训练集和测试集输入所述时序行为检测模型进行训练,得到训练好的时序行为检测模型;将待识别的视频输入训练好的时序行为检测模型,得到视频中存在的行为类别,与行为对应的起始位置和结束位置。本发明提高了网络对于背景和行为的分辨能力,对视频中的时序行为检测有较高的识别精度。

    一种时空行为检测方法
    7.
    发明公开

    公开(公告)号:CN109961019A

    公开(公告)日:2019-07-02

    申请号:CN201910153037.0

    申请日:2019-02-28

    Abstract: 本发明公开了一种时空行为检测方法,包括对样本视频中所有帧进行对象检测,获取候选对象集合;计算样本视频中所有帧间光流信息,获取运动集合;构建附加对象注意机制和运动注意机制的时空卷积‑反卷积网络;对样本视频的各时间片段进行时空卷积处理后,均添加对应的稀疏变量和稀疏约束得到网络结构S;以基于交叉熵的分类损失和稀疏约束的损失为目标函数,对网络结构S进行训练;计算测试样本视频中各时间片段对应的行为类别与稀疏系数,获取对象行为时空位置。本发明通过对象检测和光流预测,不仅减少行为搜索空间,而且时空行为检测具有良好的鲁棒性。

    一种视频行为识别方法及系统

    公开(公告)号:CN114581819A

    公开(公告)日:2022-06-03

    申请号:CN202210163283.6

    申请日:2022-02-22

    Abstract: 本发明提供一种视频行为识别方法及系统,包括:确定预训练好的识别网络;识别网络包括:时空特征提取模块和集合匹配模块;时空特征提取模块用于提取接收到视频的空间特征和时间特征,集和匹配模块用于基于空间特征和时间特征以及模板视频的时空特征将接收到视频与模板视频进行匹配,识别接收到视频的行为;模板视频包括T类视频;对识别网络进行训练时,从T类视频中循环随机选取S类视频,为每类视频确定K个训练样本,将S类视频对应的训练样本输入到识别网络进行训练;将待识别的视频和模板视频输入到预训练好的识别网络中,以对待识别视频进行行为识别,输出对应的行为识别结果。本发明在小样本场景下,可以实现灵活准确的视频匹配和识别。

    一种基于遮挡分层的多目标跟踪方法

    公开(公告)号:CN106920253A

    公开(公告)日:2017-07-04

    申请号:CN201710073835.3

    申请日:2017-02-10

    CPC classification number: G06T2207/10016 G06T2207/20016 G06T2207/30232

    Abstract: 本发明公开了一种基于遮挡分层的多目标跟踪方法,包括:构建背景场景,在背景场景上进行分割处理获得背景场景的层次模型,对当前帧图像和背景场景进行背景差分处理提取前景区域的形位参数,确定当前帧图像中前景区域和上一帧图像中目标关联关系,若一个前景区域与一个目标关联,则用单目标跟踪方法获得该目标在当前帧图像中的状态,若一个前景区域与多个目标关联,则用马尔可夫链蒙特卡洛采样方法获得多个目标在当前帧图像中的状态,若一个前景区域不与任何目标关联,则认为该前景区域为新进目标。本发明解决了多目标跟踪中由于目标间遮挡以及目标与背景遮挡导致的跟踪失败问题,适用于开放式环境下依赖于目标跟踪技术的智能视频监控系统。

Patent Agency Ranking