-
公开(公告)号:CN111652928B
公开(公告)日:2023-12-15
申请号:CN202010390619.3
申请日:2020-05-11
Applicant: 上海交通大学
Abstract: 一种三维点云中物体抓取位姿检测方法,通过整理样本图像中的物体抓取位姿作为训练集,对端到端物体抓取位姿检测模型进行训练,再对待测的三维点云数据进行识别,得到候选抓取位姿分数从而实现物体抓取位姿检测。本发明通过端到端的全场景训练测试,将点云中整体与局部的特征关系紧密联系起来,在优化运行速度的同时提高了检测准确程度。
-
公开(公告)号:CN113449564B
公开(公告)日:2022-09-06
申请号:CN202010228189.5
申请日:2020-03-26
Applicant: 上海交通大学
Abstract: 一种基于人体局部行为语义知识的图像分类方法,通过建立用于获得人体局部细粒度语义表征的人体部位行为状态识别模型并进行模型训练;然后利用自然语言理解将待测图像中的视觉信息转化为基于语言的先验知识,并将先验知识与视觉信息融合生成细粒度行为表征向量并迁移到计算机视觉行为和识别任务中;最后通过组合人体局部细粒度特征推理整体行为以完成行为理解过程得到分类结果。本发明在多种复杂行为理解任务中取得非常理想的识别性能提升;同时,该方法具有一次预训练,多次多样迁移的优势,兼具泛化性和灵活性。
-
公开(公告)号:CN113449751B
公开(公告)日:2022-08-19
申请号:CN202010221613.3
申请日:2020-03-26
Applicant: 上海交通大学
IPC: G06V10/774 , G06V10/77 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 一种基于对称性和群论的物体‑属性组合图像识别方法,以包含属性标注的数据集作为训练样本对包括特征提取器、耦合网络和解耦网络的神经网络进行训练;然后采用特征提取器提取待测图像的特征向量与待判断属性一同输入耦合网络和解耦网络,分别得到两个对应转换后的特征向量,通过在高维特征空间判断耦合网络转换前后特征向量的距离确定待测图像是否包含待判断属性;最后将待判断属性的检测结果与神经网络的物体检测输出结合得到识别结果。本发明能够并行计算,计算速度较快,有很好的高效性、即时性、鲁棒性。
-
公开(公告)号:CN112651316B
公开(公告)日:2022-07-15
申请号:CN202011509274.5
申请日:2020-12-18
Applicant: 上海交通大学
Abstract: 一种二维和三维多人姿态估计系统及方法,包括:数据层、模型层和评估层,其中:数据层根据训练阶段和评估阶段所需的二维和三维姿态数据集或推理阶段输入的图片路径集进行解析和预处理得到模型图片的输入数据和监督目标,模型层根据输入数据与监督目标对基于卷积神经网络进行推理与训练,得到二维和三维姿态预测结果,评估层将二维和三维姿态预测结果坐标变换得到最终算法预测结果,并对预测结果评估打分。本发明可以同时端到端训练、评估、推理二维以及三维姿态估计。并对多任务有良好的应用性,识别性能非常理想,且内存占用较小,有较高的效率和实时性。
-
公开(公告)号:CN119380329B
公开(公告)日:2025-03-14
申请号:CN202411920082.1
申请日:2024-12-25
Applicant: 上海交通大学
IPC: G06V20/64 , G06V10/762 , G06V10/776 , G06V10/764 , G06V10/26 , G06V10/44 , G06V10/82 , G06T7/73 , G06V10/80 , G06N3/0455
Abstract: 本发明涉及部件检测技术领域,提供一种执行跨类别物体感知和操控的部件检测方法及系统,包括:S1:对物体点云逐点提取骨干特征;S2:进行部件语义分类,预测每个点到所属的部件点云中心的向量;S3:对部件中心的点云进行聚类;S4:将聚类出的点云部件实例归一化至单位半径的球形内,并进行特征提取;S5:利用点云部件实例的全局特征预测置信度,对于置信度在预设阈值之下的点云部件实例使用分割一切基础模型进行修正;S6:重新推理点云部件实例的置信度,采用非极大值抑制删除重叠较大的点云部件实例;S7:采用点云部件实例的逐点特征用于预测初次NOCS坐标,进而对再次NOCS坐标进行再次姿态估计。提升跨物体类别部件检测的质量和姿态估计的准确率。
-
公开(公告)号:CN115122328B
公开(公告)日:2024-12-27
申请号:CN202210813622.0
申请日:2022-07-12
Applicant: 上海交通大学
Abstract: 一种面向家用机器人任务和数据采集的仿真系统,包括:数据采集模块、Unity模块、Python模块、通信模块、VR模块和资源文件模块。本发明能够支持多种物体属性、面向家用型机器人任务的可交互式仿真系统,同时该系统可以支持用于深度学习训练的数据获取,从而降低数据标注的成本。
-
公开(公告)号:CN114038058B
公开(公告)日:2024-10-15
申请号:CN202111305695.0
申请日:2021-11-05
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/25 , G06V20/80 , G06V10/764 , G06V10/80 , G06V10/82 , G06V10/74 , G06N3/0464 , G06N3/045 , G06N3/084 , G06N3/082
Abstract: 一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法,通过输入视频并检测人体区域后统一尺寸,然后检测人体姿态并提取姿态引导增强的重识别特征,最后利用多语义信息进行前后帧匹配,完成人体姿态检测跟踪。本发明能够同时输出姿态检测结果和人体重识别特征,其中人体重识别特征又可以利用人体姿态进行引导增强,利用包括重识别特征、人体检测框和姿态等多种语义信息进行跟踪匹配。
-
公开(公告)号:CN113468923B
公开(公告)日:2022-09-06
申请号:CN202010243766.8
申请日:2020-03-31
Applicant: 上海交通大学
Abstract: 一种基于细粒度多模态共同表征的人‑物体交互行为检测方法。通过整理样本图像中的人‑物体对及人‑物体交互行为,并借助三维人体重建方法及三维人体‑物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集,通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据,得到人‑物体交互行为的检测分数实现交互行为检测。本发明能够准确地实现人‑物体交互行为进行检测,并同时获取到交互中的人与物体的二维和三维几何表征。
-
公开(公告)号:CN113468923A
公开(公告)日:2021-10-01
申请号:CN202010243766.8
申请日:2020-03-31
Applicant: 上海交通大学
Abstract: 一种基于细粒度多模态共同表征的人‑物体交互行为检测方法。通过整理样本图像中的人‑物体对及人‑物体交互行为,并借助三维人体重建方法及三维人体‑物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集,通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据,得到人‑物体交互行为的检测分数实现交互行为检测。本发明能够准确地实现人‑物体交互行为进行检测,并同时获取到交互中的人与物体的二维和三维几何表征。
-
公开(公告)号:CN112861848A
公开(公告)日:2021-05-28
申请号:CN202011508606.8
申请日:2020-12-18
Applicant: 上海交通大学
Abstract: 一种基于动作条件已知的视觉关系检测方法及系统,通过多模态特征提取器从现有数据集中提取出多模态特征,在基础视觉关系检测网络中添加嵌入损失函数对多模态特征进行规则化处理,再通过背景物体建模引入有效背景物体并减少噪声,即将检测物体两两组合并引入背景物体作为辅助并生成训练集,对神经网络进行训练,最后将训练后的神经网络从待测图像中提取出物体对的交互预测,即采用同样的数据处理以及前向传播得到图片中的物体检测结果以及物体两两之间的关系分类结果。本发明基于机器学习、深度学习,能够促进图像场景理解、人与物体交互理解,并应用到图像索引、图像生成、图像描述以及视觉问答系统等应用中。
-
-
-
-
-
-
-
-
-