-
公开(公告)号:CN113298948A
公开(公告)日:2021-08-24
申请号:CN202110493385.X
申请日:2021-05-07
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本申请适用于三维重建技术领域,提供了一种三维网格重建方法、装置、设备及存储介质。方法包括:根据至少一个第一目标图像的全局图像特征,生成目标的第一三维网格;提取第一三维网格的骨架,得到第一骨架;根据至少一个第二目标图像的局部图像特征,生成第二骨架;根据第二骨架与第一骨架之间的骨架误差,对第一三维网格进行调整,得到第二骨架对应的第二三维网格。如此,可以结合图像的全局图像特征和局部图像特征,对在整体上的准确性和鲁棒性较高的第一三维网格进行调优,使得调优后得到的第二三维网格即具有整体上的准确性和鲁棒性,也具有局部细节和深度上的准确度,提高了三维网格重建效果。
-
公开(公告)号:CN112767468A
公开(公告)日:2021-05-07
申请号:CN202110162782.9
申请日:2021-02-05
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本发明提供了一种基于协同分割与数据增强的自监督三维重建方法及系统,方法包括:获取输入数据,根据输入数据获取多视角图像对;通过对多视角图像对进行深度估计处理,获取光度一致性损失;通过对多视角图像对进行协同分割处理,获取语义一致性损失;通过对多视角图像对进行数据增强处理,获取数据增强一致性损失;根据光度一致性损失、语义一致性损失和数据增强一致性损失构建损失函数;根据损失函数构建并训练神经网络模型,基于神经网络模型获取与输入数据对应的三维模型。本发明通过引入语义线索以及嵌入数据增强机制,增强了自监督信号在噪声扰动下的可靠性,提升了自监督算法的精度和性能,且成本低、泛化性高、应用场景广泛。
-
公开(公告)号:CN111859023A
公开(公告)日:2020-10-30
申请号:CN202010531316.9
申请日:2020-06-11
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本申请属于图像处理领域,公开了一种视频分类方法、装置、设备及计算机可读存储介质。所述视频分类方法包括获取待分类视频;将所述待分类视频输入到已训练的视频分类模型中处理,输出所述待分类视频的分类结果;其中,所述视频分类模型包括特征提取层和全连接层,所述特征提取层用于通过二维卷积提取空间特征信息,通过池化提取时间特征信息,以及融合所述空间特征信息和时间特征信息输出融合特征信息,所述全连接层用于对所述融合特征信息进行全连接处理,得到所述分类结果。本申请实施例相对于三维卷积核计算,通过池化获得待分类视频的时间维度的特征信息,所采用的二维卷积可以大大的减少卷积参数的计算,有利于降低视频分类的计算量。
-
公开(公告)号:CN113592913B
公开(公告)日:2023-12-26
申请号:CN202110907900.4
申请日:2021-08-09
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本发明公开了一种消除自监督三维重建不确定性的方法。该方法包括:以设定的第一损失函数为目标预训练深度学习三维重建模型,所述深度学习三维重建模型以参考视角和源视角组成的视角对图像为输入,第一损失函数基于光度立体一致性损失和深度光流一致性损失构建,该深度光流一致性损失表征源视角的像素及其在参考视角下的匹配点所形成的伪光流信息;以设定的第二损失函数为优化目标训练预训练的深度学习三维重建模型,所述第二损失函数通过估计预训练阶段的不确定性掩码构建,该不确定性掩码用于表征输入图像中的有效区域。本发明不需要标注数据并且克服了图像重建中的不确定性问题,提高了模型的精确度和泛化能力。
-
公开(公告)号:CN112966696B
公开(公告)日:2023-10-27
申请号:CN202110163660.1
申请日:2021-02-05
Applicant: 中国科学院深圳先进技术研究院
IPC: G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/08
Abstract: 本申请适用于计算机技术领域,提供了一种处理三维点云的方法、处理三维点云的装置、处理三维点云的设备及存储介质,包括:获取包括多个点的点云数据;将所述点云数据输入到已训练的卷积神经网络中处理,得到每个点对应的目标特征,所述卷积神经网络包括几何注意力融合模块和聚焦模块;基于每个点对应的目标特征,确定每个点对应的预测类别。基于该方法提取到的每个点的目标特征,包含了每个点对应的重要的几何信息,使提取到的每个点的目标特征更加准确、有效,进而根据每个点的目标特征进行预测类别时,得到的预测结果非常准确。
-
公开(公告)号:CN113298948B
公开(公告)日:2022-08-02
申请号:CN202110493385.X
申请日:2021-05-07
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本申请适用于三维重建技术领域,提供了一种三维网格重建方法、装置、设备及存储介质。方法包括:根据至少一个第一目标图像的全局图像特征,生成目标的第一三维网格;提取第一三维网格的骨架,得到第一骨架;根据至少一个第二目标图像的局部图像特征,生成第二骨架;根据第二骨架与第一骨架之间的骨架误差,对第一三维网格进行调整,得到第二骨架对应的第二三维网格。如此,可以结合图像的全局图像特征和局部图像特征,对在整体上的准确性和鲁棒性较高的第一三维网格进行调优,使得调优后得到的第二三维网格即具有整体上的准确性和鲁棒性,也具有局部细节和深度上的准确度,提高了三维网格重建效果。
-
公开(公告)号:CN113592913A
公开(公告)日:2021-11-02
申请号:CN202110907900.4
申请日:2021-08-09
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本发明公开了一种消除自监督三维重建不确定性的方法。该方法包括:以设定的第一损失函数为目标预训练深度学习三维重建模型,所述深度学习三维重建模型以参考视角和源视角组成的视角对图像为输入,第一损失函数基于光度立体一致性损失和深度光流一致性损失构建,该深度光流一致性损失表征源视角的像素及其在参考视角下的匹配点所形成的伪光流信息;以设定的第二损失函数为优化目标训练预训练的深度学习三维重建模型,所述第二损失函数通过估计预训练阶段的不确定性掩码构建,该不确定性掩码用于表征输入图像中的有效区域。本发明不需要标注数据并且克服了图像重建中的不确定性问题,提高了模型的精确度和泛化能力。
-
公开(公告)号:CN112966696A
公开(公告)日:2021-06-15
申请号:CN202110163660.1
申请日:2021-02-05
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本申请适用于计算机技术领域,提供了一种处理三维点云的方法、处理三维点云的装置、处理三维点云的设备及存储介质,包括:获取包括多个点的点云数据;将所述点云数据输入到已训练的卷积神经网络中处理,得到每个点对应的目标特征,所述卷积神经网络包括几何注意力融合模块和聚焦模块;基于每个点对应的目标特征,确定每个点对应的预测类别。基于该方法提取到的每个点的目标特征,包含了每个点对应的重要的几何信息,使提取到的每个点的目标特征更加准确、有效,进而根据每个点的目标特征进行预测类别时,得到的预测结果非常准确。
-
公开(公告)号:CN111859023B
公开(公告)日:2024-05-03
申请号:CN202010531316.9
申请日:2020-06-11
Applicant: 中国科学院深圳先进技术研究院
IPC: G06F16/75 , G06V10/764 , G06N3/0464 , G06V10/44 , G06V10/80
Abstract: 本申请属于图像处理领域,公开了一种视频分类方法、装置、设备及计算机可读存储介质。所述视频分类方法包括获取待分类视频;将所述待分类视频输入到已训练的视频分类模型中处理,输出所述待分类视频的分类结果;其中,所述视频分类模型包括特征提取层和全连接层,所述特征提取层用于通过二维卷积提取空间特征信息,通过池化提取时间特征信息,以及融合所述空间特征信息和时间特征信息输出融合特征信息,所述全连接层用于对所述融合特征信息进行全连接处理,得到所述分类结果。本申请实施例相对于三维卷积核计算,通过池化获得待分类视频的时间维度的特征信息,所采用的二维卷积可以大大的减少卷积参数的计算,有利于降低视频分类的计算量。
-
公开(公告)号:CN112767468B
公开(公告)日:2023-11-03
申请号:CN202110162782.9
申请日:2021-02-05
Applicant: 中国科学院深圳先进技术研究院
Abstract: 本发明提供了一种基于协同分割与数据增强的自监督三维重建方法及系统,方法包括:获取输入数据,根据输入数据获取多视角图像对;通过对多视角图像对进行深度估计处理,获取光度一致性损失;通过对多视角图像对进行协同分割处理,获取语义一致性损失;通过对多视角图像对进行数据增强处理,获取数据增强一致性损失;根据光度一致性损失、语义一致性损失和数据增强一致性损失构建损失函数;根据损失函数构建并训练神经网络模型,基于神经网络模型获取与输入数据对应的三维模型。本发明通过引入语义线索以及嵌入数据增强机制,增强了自监督信号在噪声扰动下的可靠性,提升了自监督算法的精度和性能,且成本低、泛化性高、应用场景广泛。
-
-
-
-
-
-
-
-
-