-
公开(公告)号：CN115018010B
公开(公告)日：2024-08-20
申请号：CN202210809470.7
申请日：2022-07-11
Applicant: 东南大学
IPC: G06V10/74 , G06Q30/0601 , G06V10/75 , G06V10/764
Abstract: 一种基于图像和文本的多模态商品匹配方法，该方法旨在利用商品封面的图像信息和商品标题中的文本信息，找出相匹配的商品；其具体步骤：首先，使用度量学习的方法，使网络学习到具有判别性的特征；其次，分别通过图像和文本网络提取商品特征；再次，从图像、文本和多模态三个角度计算样本间特征的余弦距离，采用查询扩展的方法，实现对匹配结果的重排；最后，设置动态阈值，实现多模态结果的融合，并将满足阈值条件的样本加入到最终匹配结果中。本发明所涉及的神经网络结构和后处理方法，能够有效解决单一模态中存在的少匹配和误匹配问题。在满足匹配精确性的同时，显著提高商品的召回率。
-
公开(公告)号：CN111832399A
公开(公告)日：2020-10-27
申请号：CN202010493575.7
申请日：2020-06-03
Applicant: 东南大学
Abstract: 本发明公开一种融合注意力机制的跨域道路航标配准算法。该方法旨在对实时无人机航拍图像与数据库中预存储的二值化矢量道路航标进行配准，从而实时解算无人机的位姿状态；其具体步骤：首先，建立双通道卷积神经网络将跨域航拍图像与二值道路航标映射到同一低维特征空间；其次，构建特征匹配层来衡量深度特征点间的相似度；再次，考虑到道路航标图像中视觉特征稀疏，引入软注意力机制进行有效特征点筛选，以除去错误特征点匹配对；最后，构建回归网络输出几何变换参数。本发明所涉及的融合注意力机制的神经网络结构在满足实时性的同时，可提高道路航标配准精度，有效解决大旋转、平移下的道路航标配准问题。
-
公开(公告)号：CN117369502A
公开(公告)日：2024-01-09
申请号：CN202311431289.8
申请日：2023-10-31
Applicant: 东南大学
IPC: G05D1/46 , G05D1/633 , G05D109/20
Abstract: 本发明涉及一种基于强化学习的实现自身避障的无人机目标跟踪方法，所述方法包括以下步骤：S1：在虚拟机器人实验平台中搭建用于无人机目标跟踪的场景，S2：场景中的机器人能够实现自主避障，遇到障碍物便随机左转或者右转，机器人运行的速度为0.8m/s；S3：采集图像，在无人机的机身下方安装一个摄像头，用来采集向下视野中的图像，图像是像素大小为64×64的RGB图像，S4：再使用三层卷积神经网络和一个空间软最大化(spatial softmax)层对输入的图像进行处理，提取有用的特征，通过无人机当前所处环境的状态来感知碰撞风险，并获取注意力机制中的参数来自适应调整两个任务的权重。
-
公开(公告)号：CN112506210B
公开(公告)日：2022-12-27
申请号：CN202011402067.X
申请日：2020-12-04
Applicant: 东南大学
Abstract: 本发明涉及一种用于自主目标跟踪的无人机控制方法，经过神经网络输出四维的动作后经过PID控制器转化成低级电机的动作，让无人机更稳定的飞行，后期改进可以将PID控制器改成其他更优化的控制方法。分层控制系统更容易将模拟环境中的训练策略轻松的转移到现实环境中运行。具有很好的泛化能力。在模拟环境中对采集上来的图像先进行CNN预训练，得到无人机和目标对象的相对距离，包括x，y，h三个维度的，本发明先保证无人机的飞行高度不变，后期可以增加空间障碍物，再考虑h。再将无人机的姿态考虑进来，选择策略，输出四维动作，通过PID输出给无人机的低级电机，通过DDPG的强化学习方法，获得Reward，更新策略，进行学习并训练。
-
公开(公告)号：CN111707270A
公开(公告)日：2020-09-25
申请号：CN202010581591.1
申请日：2020-06-23
Applicant: 东南大学
IPC: G01C21/20
Abstract: 本发明公开了一种基于分布估计和强化学习的无地图避障导航方法。首先，初始化分布估计强化学习算法参数。然后，采集得到当前环境下智能体与目标位置距离的位置信息，与障碍物之间的距离信息和速度信息，并对数据进行相应的预处理。其次，将处理好后的智能体的状态信息数据送入到学习网络中，利用强化学习和分布估计算法对学习网络进行更新。最后，判断是否到达最大训练次数，通过不断地试错学习得到良好的导航表现。本发明提出一种端到端的避障导航框架，提高了无地图环境中导航表现。
-
Patent Agency Ranking
公开(公告)号：CN115018010A
公开(公告)日：2022-09-06
申请号：CN202210809470.7
申请日：2022-07-11
Applicant: 东南大学
IPC: G06K9/62 , G06Q30/06 , G06V10/74 , G06V10/75 , G06V10/764
Abstract: 一种基于图像和文本的多模态商品匹配方法，该方法旨在利用商品封面的图像信息和商品标题中的文本信息，找出相匹配的商品；其具体步骤：首先，使用度量学习的方法，使网络学习到具有判别性的特征；其次，分别通过图像和文本网络提取商品特征；再次，从图像、文本和多模态三个角度计算样本间特征的余弦距离，采用查询扩展的方法，实现对匹配结果的重排；最后，设置动态阈值，实现多模态结果的融合，并将满足阈值条件的样本加入到最终匹配结果中。本发明所涉及的神经网络结构和后处理方法，能够有效解决单一模态中存在的少匹配和误匹配问题。在满足匹配精确性的同时，显著提高商品的召回率。
-
公开(公告)号：CN112506210A
公开(公告)日：2021-03-16
申请号：CN202011402067.X
申请日：2020-12-04
Applicant: 东南大学
Abstract: 本发明涉及一种用于自主目标跟踪的无人机控制方法，经过神经网络输出四维的动作后经过PID控制器转化成低级电机的动作，让无人机更稳定的飞行，后期改进可以将PID控制器改成其他更优化的控制方法。分层控制系统更容易将模拟环境中的训练策略轻松的转移到现实环境中运行。具有很好的泛化能力。在模拟环境中对采集上来的图像先进行CNN预训练，得到无人机和目标对象的相对距离，包括x，y，h三个维度的，本发明先保证无人机的飞行高度不变，后期可以增加空间障碍物，再考虑h。再将无人机的姿态考虑进来，选择策略，输出四维动作，通过PID输出给无人机的低级电机，通过DDPG的强化学习方法，获得Reward，更新策略，进行学习并训练。
-
公开(公告)号：CN111783582A
公开(公告)日：2020-10-16
申请号：CN202010571133.X
申请日：2020-06-22
Applicant: 东南大学
Abstract: 本发明公开一种基于深度学习的无监督单目深度估计算法，通过比较相机运动产生的光流和全光流之间的差异，实现对场景中移动目标的检测，最终提升算法的深度估计效果，本发明在不需要训练标签的情况下，对于移动的单目相机视频，可以同时实现对深度图像、相机位姿和运动光流的无监督估计，三项任务预测精度优良，本发明通过对场景中动态目标的检测，有效增强了算法的精度和鲁棒性。
-
公开(公告)号：CN110287846B
公开(公告)日：2023-08-04
申请号：CN201910531637.6
申请日：2019-06-19
Applicant: 南京云智控产业技术研究院有限公司 , 东南大学
IPC: G06V40/16 , G06V10/46 , G06V10/80 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/09
Abstract: 本发明公开了一种基于注意力机制的人脸关键点检测方法，该方法包括以下步骤：建立面向多分辨率输入的多通道特征提取网络结构；设计一个注意力模块，利用具有沙漏结构的特征融合网络，引入注意力机制，选择与任务相关的关键特征；将注意力模块输出的特征图经过残差模块，输出关键点位置信息。本发明所涉及的面向多分辨率输入的多通道特征提取网络，通过引入中继监督在降低网络深度的同时保证检测精度；本发明所涉及的注意力模块，通过引入注意力机制将特征不断聚焦到感兴趣区域，提高遮挡、大姿态下的人脸关键点检测精度。实验表明该发明可以有效克服大姿态、遮挡给精度带来的影响，解决网络深度与检测速度均衡难题。
-
公开(公告)号：CN111832399B
公开(公告)日：2022-11-01
申请号：CN202010493575.7
申请日：2020-06-03
Applicant: 东南大学
IPC: G06V20/17 , G06V10/82 , G06V10/80 , G06V10/774 , G06N3/04
Abstract: 本发明公开一种融合注意力机制的跨域道路航标配准算法。该方法旨在对实时无人机航拍图像与数据库中预存储的二值化矢量道路航标进行配准，从而实时解算无人机的位姿状态；其具体步骤：首先，建立双通道卷积神经网络将跨域航拍图像与二值道路航标映射到同一低维特征空间；其次，构建特征匹配层来衡量深度特征点间的相似度；再次，考虑到道路航标图像中视觉特征稀疏，引入软注意力机制进行有效特征点筛选，以除去错误特征点匹配对；最后，构建回归网络输出几何变换参数。本发明所涉及的融合注意力机制的神经网络结构在满足实时性的同时，可提高道路航标配准精度，有效解决大旋转、平移下的道路航标配准问题。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.092 seconds)
