-
公开(公告)号:CN112329571B
公开(公告)日:2022-12-16
申请号:CN202011161979.2
申请日:2020-10-27
Applicant: 同济大学
IPC: G06V40/20 , G06V10/774 , G06V10/764
Abstract: 本发明涉及一种基于姿态质量评估的自适应人体姿态优化方法,包括以下步骤:S1:获取人体姿态优化训练数据和已有姿态质量评估训练数据;S2:利用姿态质量评估训练数据训练人体姿态质量评估网络,得到用于衡量已有人体姿态质量评估模型;S3:利用人体姿态优化训练数据训练人体姿态优化网络,得到人体姿态优化模型;S4:获取已有人体姿态,根据人体姿态质量评估模型的评估结果,利用人体姿态优化模型对质量不达标的已有人体姿态通过迭代进行姿态优化,直至优化后的人体姿态质量达标,输出该优化的人体姿态,与现有技术相比,本发明具有有效克服所获取的人体姿态质量差异性问题等优点。
-
公开(公告)号:CN113780129A
公开(公告)日:2021-12-10
申请号:CN202111009498.4
申请日:2021-08-31
Applicant: 同济大学
Abstract: 本发明涉及一种基于无监督图序列预测编码的动作识别方法及存储介质,其中,动作识别方法,包括模型的训练与使用,用于识别骨骼序列中的人体所进行的各种动作,旨在解决现有动作识别方法高度依赖大量的有标注数据,在仅有少量标注的情况下精度较低与现有无监督方法过拟合没有利用图的拓扑信息及严重泛化能力较差的问题。本系统方法包括对骨骼序列数据的视角不变变换、重采样与块级骨骼图数据增强;时空图卷积骨骼序列块嵌入表示提取;图卷积循环神经网络聚合上下文特征;预测编码构造正、负样本对;通过预训练模型提取特征利用分类器得到待识别骨骼序列对应的动作类别。与现有技术相比,本发明具有训练难度低、识别精度高、性能优异等优点。
-
公开(公告)号:CN113762082A
公开(公告)日:2021-12-07
申请号:CN202110908006.9
申请日:2021-08-09
Applicant: 同济大学
Abstract: 本发明涉及一种基于循环图卷积自动编码器的无监督骨架动作识别方法,其特征在于,包括:将人体骨架动作序列输入至循环图卷积编码器;循环图卷积编码器输出得到动作序列的表征向量;通过加权最近邻分类算法计算动作序列的表征向量得到人体骨架动作序列的识别类别;循环图卷积编码器包括:多层空间关节注意力模块,用于结合人体骨架动作序列和循环图卷积编码器的隐藏层,自适应衡量不同动作不同关节的重要性,得到加权的骨架序列;多层图卷积门控循环单元层,用于整合加权的骨架序列的连接关系特征,得到动作序列的表征向量。与现有技术相比,本发明可以显著提升无监督动作识别系统的识别精度,具有广阔的应用前景。
-
公开(公告)号:CN112328821A
公开(公告)日:2021-02-05
申请号:CN202011161024.7
申请日:2020-10-27
Applicant: 同济大学
IPC: G06F16/532 , G06F16/583 , G06F16/951 , G06T17/00
Abstract: 本发明涉及一种基于树型空间的三维树木模型匹配方法,包括以下步骤:S1:构建树木模型数据集,并获取树木手绘轮廓;S2:构建树型空间,并将树木手绘轮廓的点数据和树木模型数据集中三维树木模型的点数据统一映射到树型空间中;S3:计算树木手绘轮廓和树木模型数据集中三维树木模型的凸包;S4:基于扫描算子的网格化编码进行降维操作;S5:对树木手绘轮廓和树木模型数据集中的三维树木模型进行相似性计算,完成三维树木模型的匹配。与现有技术相比,本发明具有准确率高、有效提高三维树木模型大规模检索重用效率等优点。
-
公开(公告)号:CN115050090A
公开(公告)日:2022-09-13
申请号:CN202210445216.3
申请日:2022-04-26
Applicant: 同济大学
Abstract: 本发明涉及一种基于结构性注意力机制的图卷积人体骨架动作识别方法,包括以下步骤:S1:构建结构性注意力模块,包含基于身体部分关系的注意力模块和基于身体对称节点轨迹的注意力模块两个子模块;S2:为图卷积的中间结果自适应邻接矩阵添加基于身体部分关系的注意力模块,得到强化身体部分结构的自适应邻接矩阵;S3:利用身体对称节点轨迹的关系构建相关注意力模块,强化人体骨架动作识别模型对身体对称性的关注;S4:将经过结构性注意力强化后的特征送入分类器,得到各动作对应的分数,从而获得最终识别结果。与现有技术相比,本发明考虑了动作识别中人体结构性的行为机制,具有识别精度高的优点。
-
公开(公告)号:CN114724181A
公开(公告)日:2022-07-08
申请号:CN202210292119.5
申请日:2022-03-24
Applicant: 同济大学
Abstract: 本发明公开了一种基于姿态增强型关系特征的人体动作识别方法,包括以下步骤:S1:获取人体姿态关键点数据和周围物体包围框,并将姿态关键点数据转换为包围框格式;S2:使用基础网络提取图像特征,并通过ROIPooling进一步得到人体、姿态、物体对应的基础特征;S3:利用基础特征与包围框分别计算出2组人体‑姿态关系特征与2组人体‑物体关系特征,将关系特征按特定权重与基础特征融合,获得人体、姿态、物体增强型特征;S4:将三种增强型特征送入分类器,并将分类结果进行融合,得到各动作对应的分数,从而获得最终识别结果,与现有技术相比,本发明考虑了动作识别中的不同情况,具有识别精度高、适用范围广等优点。
-
公开(公告)号:CN111368123B
公开(公告)日:2022-06-28
申请号:CN202010097592.9
申请日:2020-02-17
Applicant: 同济大学
IPC: G06F16/583 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明涉及一种基于跨模态向导网络的三维模型草图检索方法,包括以下步骤:S1:获取三维模型训练数据和草图训练数据;S2:训练三维模型网络,并利用训练完成的三维模型网络学习得到三维模型特征空间;S3:以三维模型特征空间为目标空间训练草图网络,得到训练完成的草图网络;S4:利用训练完成的三维模型网络和草图网络提取的待检索三维模型特征和查询草图特征,检索得到用于相应应用的三维模型,与现有技术相比,本发明具有有效克服跨模态差异性问题等优点。
-
公开(公告)号:CN113656616A
公开(公告)日:2021-11-16
申请号:CN202110694949.6
申请日:2021-06-23
Applicant: 同济大学
Abstract: 本发明涉及一种基于异构孪生神经网络的三维模型草图检索方法,包括以下步骤:S1:获取三维模型训练数据和草图训练数据;S2:利用两个模态独立网络别提取草图和三维模型的深度特征;S3:用一个模态共享网络将模态独立网络学习到的草图特征和三维模型特征映射到共享特征空间中;S4:利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中三维模型特征,进行草图和三维模型特征相似度计算并排序,得到检索结果。与现有技术相比,本发明具有有效克服跨模态差异性,网络设计简单易复现,为后续方法提高简单基线等优点。
-
公开(公告)号:CN111797704A
公开(公告)日:2020-10-20
申请号:CN202010531050.8
申请日:2020-06-11
Applicant: 同济大学
Abstract: 本发明涉及一种基于相关物体感知的动作识别方法,用于融合动作相关物体特征识别人物动作,其特征在于,包括以下步骤:1)通过卷积神经网络提取待识别图像的特征图;2)获取待识别图像中的物体,并计算各物体与动作的相关性大小;3)根据相关性大小筛选最相关物体,提取得到最相关物体特征;4)获取待识别图像中的人物,提取人体特征;5)融合人体特征与最相关物体特征,计算各动作的发生概率,完成图像中人物动作的识别,与现有技术相比,本发明具有识别精度高等优点。
-
公开(公告)号:CN118552708A
公开(公告)日:2024-08-27
申请号:CN202410511462.3
申请日:2024-04-25
Applicant: 同济大学
Abstract: 本案涉及基于多模态大模型的通用视觉关系识别检测方法,属于计算机视觉、视觉关系识别领域,用于解决目前视觉关系识别检测任务中,各细分任务的专家模型缺乏通用性、灵活性和语言理解能力的问题。本方案将多模态大模型经构造的数据样本训练后,能够应用于不同视觉关系识别检测任务和不同数据集,无需针对某一任务或数据集进行专门的架构调整或精调。并且,本案多模态大模型具有一定的对话能力,能够直接有效地利用大模型的语言模态信息及其所具有的语言和知识推理能力,根据用户回答调整任务目的和输出形式,能够灵活兼容视觉关系指代等更多任务形式。
-
-
-
-
-
-
-
-
-