-
公开(公告)号:CN118227812A
公开(公告)日:2024-06-21
申请号:CN202410167213.7
申请日:2024-02-05
Applicant: 同济大学
IPC: G06F16/53 , G06F16/55 , G06F16/583 , G06V10/82 , G06V10/764 , G06V10/44 , G06V10/80 , G06N3/0464 , G06N3/09
Abstract: 本案涉及基于标签修正的三维模型草图检索系统及方法,用于解决草图数据因存在标签噪声而影响检索准确度的问题。在检索时,利用训练好的三维提取网络获取三维模型的三维特征构建检索数据库,利用训练好的草图提取网络提取待检索草图的草图特征用于检索,从而实现利用草图检索三维模型。其中,草图提取网络在训练时,基于草图样本分类空间进行噪声判定并将噪声样本对应标签进行修正,降低噪声样本对模型训练的干扰,提高模型对相似草图的辨识度。训练好的草图提取网络获得的草图样本各分类的类中心向量集合,作为草图样本和对应的三维模型样本的公共特征空间,用于三维提取网络的迁移学习,从而提高用草图检索三维模型的准确性。
-
公开(公告)号:CN113762082B
公开(公告)日:2024-02-27
申请号:CN202110908006.9
申请日:2021-08-09
Applicant: 同济大学
IPC: G06V40/20 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/088 , G06N3/0442
Abstract: 本发明涉及一种基于循环图卷积自动编码器的无监督骨架动作识别方法,其特征在于,包括:将人体骨架动作序列输入至循环图卷积编码器;循环图卷积编码器输出得到动作序列的表征向量;通过加权最近邻分类算法计算动作序列的表征向量得到人体骨架动作序列的识别类别;循环图卷积编码器包括:多层空间关节注意力模块,用于结合人体骨架动作序列和循环图卷积编码器的隐藏层,自适应衡量不同动作不同关节的重要性,得到加权的骨架序列;多层图卷积门控循环单元层,用于整合加权的骨架序列的连接关系特征,得到动作序列的表征向量。与现有技术相比,本发明可以显著提升无监督动作识别系统的识别精度,具有广阔的应用前景。
-
公开(公告)号:CN116229572A
公开(公告)日:2023-06-06
申请号:CN202310204623.X
申请日:2023-03-06
Applicant: 同济大学
IPC: G06V40/20 , G06T3/40 , G06N3/0464 , G06N3/048 , G06N3/088
Abstract: 本发明涉及一种基于上下文感知拓扑注意力增强的无监督3D动作识别方法,该方法包括以下步骤:步骤S1、从骨架图组中获取骨架动作序列集预处理后划分为Tclip剪辑;步骤S2、采用编码器从预处理后得到的Tclip剪辑中提取得到具备时空局部性的动作单元集合ε;步骤S3、构建自监督识别模型,基于上下文感知拓扑注意机制对动作单元集合进行数据增强,聚合得到上下文集合其中,自监督识别模型采用最大化上下文集合和动作单元集合ε互信息的对比损失Lcontrast进行训练;步骤S4、采用训练好的自监督识别模型进行动作识别。与现有技术相比,本发明具有识别准确性高的优点。
-
公开(公告)号:CN116229104A
公开(公告)日:2023-06-06
申请号:CN202310373810.0
申请日:2023-04-06
Applicant: 同济大学
IPC: G06V10/44 , G06V10/774 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本申请实施例涉及显著性目标检测技术领域,特别涉及一种基于边缘特征引导的显著性目标检测方法,包括:从显著对象真值图中提取显著对象的边缘数据,并将边缘数据作为额外的预备训练集;采用基础网络提取图像特征,并基于图像特征,分别得到显著性对象的边缘特征、多尺度的位置特征;基于多层感知机,对边缘特征与多尺度的位置特征的关系动态学习,得到边缘增强融合特征;将边缘增强融合特征送入卷积网络进行细化处理,并基于细化后的边缘增强融合特征,得到最终分割结果。本申请提供的方法,通过有效利用显著对象边缘信息和位置信息,克服现有显著性目标检测方法对于边缘信息的利用不充分且对边缘位置特征和全局特征间的联系欠缺考虑的缺陷。
-
公开(公告)号:CN116071820A
公开(公告)日:2023-05-05
申请号:CN202211718305.7
申请日:2022-12-29
Applicant: 同济大学
IPC: G06V40/20 , G06V20/40 , G06V10/764 , G06V10/82 , G06N3/0895
Abstract: 本发明涉及一种基于自适应时序dropout机制的弱监督动作检测方法,该方法通过一分类网络获得候选动作实例,分类网络的处理过程:对待检测视频进行特征提取;将RGB特征和光流特征融合并映射至动作特征空间;将动作特征序列映射至分类空间,得到类别激活序列;对类别激活序列进行后处理以获得候选动作实例;对所述分类网络进行训练时,通过一自适应时序dropout模块从与动作特征序列中选取显著部分并去除,进而获得对应的类别激活序列,采用基于多实例学习的损失函数进行优化训练。与现有技术相比,本发明以端到端、数据驱动的方式解决了弱监督动作检测中的“局部统治”问题,具有流程简单、识别精度高、适用范围广等优点。
-
公开(公告)号:CN113554115A
公开(公告)日:2021-10-26
申请号:CN202110922982.X
申请日:2021-08-12
Applicant: 同济大学
Abstract: 本发明涉及一种基于不确定性学习的三维模型草图检索方法,包括以下步骤:S1:获取三维模型训练数据和草图训练数据;S2:构建草图特征提取网络,三维模型特征提取网络以及一个共享分类器,训练得到草图和三维模型共享的类中心。S3:基于共享类中心和预训练的草图特征提取网络构建草图不确定性学习网络,将每张草图图片建模成一个高斯分布,学习得到草图的不确定性。S4:利用训练完成的三维模型特征提取网络和草图不确定性学习网络分别提取待检索三维模型特征和查询草图特征,检索得到用于相应应用的三维模型。与现有技术相比,本发明具有有效缓解草图噪声问题,即减小噪声样本对干净样本拟合的损害等优点。
-
公开(公告)号:CN111797705A
公开(公告)日:2020-10-20
申请号:CN202010531062.0
申请日:2020-06-11
Applicant: 同济大学
Abstract: 本发明涉及一种基于人物关系建模的动作识别方法,包括以下步骤:1)利用卷积神经网络检测待识别图像中所有的人体包围盒 和物体包围盒 并提取人体特征向量 和物体特征向量 2)根据人体和物体的空间位置、人体特征向量和物体特征向量,分别计算人-物关系特征fho(m)和物-人关系特征foh(n);3)利用人-物关系特征fho(m)和物-人关系特征foh(n)对人体特征向量 和物体特征向量 增强;4)融合增强后的人体特征向量 和物体特征向量 计算得到各类别动作的概率,完成动作识别,与现有技术相比,本发明具有动作识别精度高等优点。
-
公开(公告)号:CN118279978A
公开(公告)日:2024-07-02
申请号:CN202410235055.4
申请日:2024-03-01
Applicant: 同济大学
IPC: G06V40/20 , G06V10/42 , G06V10/44 , G06V10/764 , G06V10/82 , G06V10/80 , G06V20/70 , G06N3/045 , G06N3/0455 , G06N3/0499 , G06N3/084
Abstract: 本发明公开了基于特征增强重组样本学习的交互动作识别方法及系统,包括:识别过程中,采集一张待识别图像,通过特征提取网络和Transformer编码器提取全局特征,通过两个Transformer解码器分别提取得到人‑物特征和交互动作特征,生成人‑物交互预测;训练过程中,选取一对包含语义相似的物体类别的待识别图像,选取其与正确标签最匹配的预测对应的人‑物特征和交互动作特征,通过交互动作解码器融合为重组交互动作特征,并生成重组人‑物交互预测,将原始样本的人‑物交互正确标签重组为重组样本的正确标签,计算原始样本和重组样本的损失函数值,加权求和得到本批样本的损失函数值。本发明增强了重组交互动作特征的表征能力与可泛化性,促进了人‑物交互视觉特征的学习,提升了识别准确性,尤其对于样本数量极少的人‑物交互类别。
-
公开(公告)号:CN113656616B
公开(公告)日:2024-02-27
申请号:CN202110694949.6
申请日:2021-06-23
Applicant: 同济大学
IPC: G06F16/51 , G06T17/00 , G06N3/045 , G06N3/0464
Abstract: 本发明涉及一种基于异构孪生神经网络的三维模型草图检索方法,包括以下步骤:S1:获取三维模型训练数据和草图训练数据;S2:利用两个模态独立网络别提取草图和三维模型的深度特征;S3:用一个模态共享网络将模态独立网络学习到的草图特征和三维模型特征映射到共享特征空间中;S4:利用训练完成的模态独立网络和模态共享网络提取查询草图特征和三维模型库中三维模型特征,进行草图和三维模型特征相似度计算并排序,得到检索结果。与现有技术相比,本发明具有有效克服跨模态差异性,网络设计简单易复现,为后续方法提高简单基线等优点。
-
公开(公告)号:CN113780129B
公开(公告)日:2023-07-04
申请号:CN202111009498.4
申请日:2021-08-31
Applicant: 同济大学
IPC: G06V40/20 , G06V10/82 , G06N3/042 , G06N3/0464 , G06N3/044 , G06N3/08 , G06N3/048 , G06V10/764
Abstract: 本发明涉及一种基于无监督图序列预测编码的动作识别方法及存储介质,其中,动作识别方法,包括模型的训练与使用,用于识别骨骼序列中的人体所进行的各种动作,旨在解决现有动作识别方法高度依赖大量的有标注数据,在仅有少量标注的情况下精度较低与现有无监督方法过拟合没有利用图的拓扑信息及严重泛化能力较差的问题。本系统方法包括对骨骼序列数据的视角不变变换、重采样与块级骨骼图数据增强;时空图卷积骨骼序列块嵌入表示提取;图卷积循环神经网络聚合上下文特征;预测编码构造正、负样本对;通过预训练模型提取特征利用分类器得到待识别骨骼序列对应的动作类别。与现有技术相比,本发明具有训练难度低、识别精度高、性能优异等优点。
-
-
-
-
-
-
-
-
-