-
公开(公告)号:CN119445331A
公开(公告)日:2025-02-14
申请号:CN202411529579.0
申请日:2024-10-30
Applicant: 东北大学
IPC: G06V10/82 , G06V20/70 , G06V10/26 , G06V10/44 , G06V10/75 , G06V10/764 , G06N3/0455 , G06N3/084 , G06N3/092
Abstract: 本发明属于计算机视觉技术领域,公开一种基于语义引导与任务奖惩相结合的局部特征学习方法。局部特征提取网络获取原始图像特征检测热图和特征描述符;原始图像通过预训练语义分割网络生成语义特征类;语义特征类与特征检测热图和特征描述符结合,输出结果用于获取特征点检测分布以及获取特征点的语义特征描述符;原始图像和目标图像语义特征描述符的匹配结果,作为特征点是否正确的训练依据;训练方法为强化学习,在强化学习训练过程中,使用梯度更新公式优化局部特征提取网络。本发明考虑语义信息影响,通过语义信息约束局部特征提取网络学习有效局部特征。利用强化学习训练,对特征点进行奖励或惩罚,使网络更具区分性和鲁棒性。
-
公开(公告)号:CN119048770A
公开(公告)日:2024-11-29
申请号:CN202411143366.4
申请日:2024-08-20
Applicant: 东北大学
IPC: G06V10/44 , G06V10/774 , G06V10/75 , G06V10/82 , G06N3/0464 , G06N3/047 , G06N3/048 , G06N3/08
Abstract: 本发明属于计算机视觉技术领域,公开一种局部特征提取方法。建立一种新的局部特征学习网络框架,以全卷积网络L2‑Net为骨干网络,通过提取空间结构增强模块的特征,融合到骨干网络的中间层和深层;将具有深度信息的数据集作为训练集,通过数据集自带的深度信息获得两幅图像的对应关系,作为局部特征区分性训练和鲁棒性训练的真值;新的局部特征学习网络框架输出用于区分性训练的特征热图和用于鲁棒性训练的特征检测热图和局部特征描述符。本发明兼顾鲁棒性和区分性,网络在深层依旧包含丰富的结构信息,从而提高了区分性通过联合强化学习的方法最终获得更好的局部特征描述符。最后,本方法在特征匹配任务上进行了评估并取得了先进的结果。
-
公开(公告)号:CN118747809A
公开(公告)日:2024-10-08
申请号:CN202410892056.6
申请日:2024-07-04
Applicant: 东北大学
IPC: G06V10/46 , G06V20/70 , G06V10/80 , G06V10/26 , G06V10/82 , G06V20/56 , G06T3/06 , G06F16/29 , G06F16/907 , G06N3/0464
Abstract: 本发明属于场景识别技术领域,公开一种基于点云的多视图语义嵌入场景识别方法。将两个轨迹中的点云数据通过描述符编码网络分别处理为描述符,两个描述符分别作为数据库和查询集;在采用最近邻算法找到数据库中最相似的点云,完成基于点云的全局场景识别。描述符编码网络通过多视角投影分别将点云数据投影到前向视角和鸟瞰视角,得到距离视角图像和鸟瞰视角图像;距离视角图像和鸟瞰视角图像经语义嵌入特征学习融合,并经特征自适应融合得到最终的点云描述符。本发明提出的描述符编码网络,不仅计算高效,能够利用不同视角的点云特征,还可以有效利用语义信息增强场景辨识度。所提出的描述符编码网络可以有效描述点云场景,并应用于场景识别任务。
-
公开(公告)号:CN118736154A
公开(公告)日:2024-10-01
申请号:CN202411222915.7
申请日:2024-09-03
Applicant: 东北大学
IPC: G06T17/05 , G06V20/58 , G06V20/70 , G06V10/26 , G06V10/44 , G06V10/42 , G06V10/80 , G06V10/764 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/09
Abstract: 本发明属于计算机视觉及自动驾驶技术领域,公开一种基于图结构建模与优化的在线矢量化地图构建方法。矢量化局部地图看作图结构,地图元素作为子图,地图元素中的关键点作为子图节点,初始化子图节点查询输入基于图结构的地图解码模块中,通过子图之间注意力进行子图查询特征交互,通过子图内部节点注意力与边注意力提升子图节点查询对子图全局特征与局部结构特征表征,通过可形变注意力模块与鸟瞰图视角特征进行交互增强,增强后的节点查询用于子图属性预测。本发明进一步挖掘矢量化地图结构属性,基于图结构的地图元素建模与地图解码,提升子图节点查询对地图元素结构的全面表征,提升矢量化地图构建的精度,促进自动驾驶在线地图构建的研究。
-
公开(公告)号:CN119723020A
公开(公告)日:2025-03-28
申请号:CN202411773967.3
申请日:2024-12-05
Applicant: 东北大学
IPC: G06V10/24 , G06V10/774 , G06V10/25 , G06V10/75 , G06V10/764
Abstract: 本发明属于计算机视觉技术领域,尤其涉及一种基于特征中心区域扩散和边缘辐射的跨视角地理定位方法。提出基于关键特征中心区域扩散模块来进一步关注图像中的关键区域从而提高所提取特征的鉴别性。在此基础上,为了防止在寻找关键区域使会忽略周围的一些有效信息,设计了边缘辐射机制来进一步挖掘图像中的有效信息。此外,本发明还引入了基于对称的三重INFONCE损失函数来辅助模型获取鲁棒的全局特征和局部特征。最后,在两个跨视图地理定位数据集上分别进行了测试,即University‑1652和SUES‑200。实验结果证明了所提出的网络模型优于目前最先进的算法证明了方法的有效性。
-
公开(公告)号:CN119445343A
公开(公告)日:2025-02-14
申请号:CN202411493295.0
申请日:2024-10-24
Applicant: 东北大学
IPC: G06V20/00 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0464
Abstract: 本发明属于场景识别技术领域,公开一种基于状态空间模型的序列多模态场景识别方法。将轨迹中的激光点云和视觉图像联合编码形成多模态序列数据,通过全局描述符编码网络处理为独特的全局描述符,两个轨迹的全局描述符分别作为地图和查询;在查询过程中,通过最近邻搜索算法找到地图中最相似的数据,完成场景识别。本发明提出将激光点云和图像数据进行融合编码,增加数据维度,并压缩数据复杂度。通过基于状态空间模型的单帧模块和序列模块获得全局描述符。单帧模块中的交叉扫描设计提高计算效率,序列模块中的顺序全组合表示策略解决了场景中轨迹变化的位置识别问题。本发明具有计算高效性、高准确率和鲁棒性特点。
-
公开(公告)号:CN117953053A
公开(公告)日:2024-04-30
申请号:CN202311735305.2
申请日:2023-12-15
Applicant: 东北大学
IPC: G06T7/73 , G06F16/53 , G06V10/26 , G06V20/70 , G06V10/82 , G06V10/44 , G06N3/0455 , G06N3/045 , G06N3/0475 , G06N3/094
Abstract: 本发明属于视觉识别定位技术领域,公开了一种基于图像检索双域语义域适应的长期视觉定位方法。建立双域体系结构网络模型,构成自适应三重特征损失函数、循环一致损失函数、语义交叉熵损失函数、三重语义交叉熵损失函数、域特征一致损失函数、SAM损失函数六种函数更新双域体系结构网络模型;更新后得到最终双域体系结构网络模型,进行视觉定位。该发明所提出的框架只需要在虚拟数据集Virtual KITTI 2上进行训练而不需要引入其他真实数据集进行训练,就可以使模型具有很好的域适应能力并可以在其他数据集上取得良好的效果,从而提高最终的图像检索性能。
-
公开(公告)号:CN118230034A
公开(公告)日:2024-06-21
申请号:CN202410275103.2
申请日:2024-03-12
Applicant: 东北大学
IPC: G06V10/764 , G06V20/13 , G06V20/17 , G06V10/42 , G06V10/44 , G06N3/0464 , G06N3/045 , G06N3/08 , G06V10/776 , G06N3/098
Abstract: 本发明属于计算机视觉技术领域,公开了一种基于信息融合联合表示学习的跨视角地理定位方法。首先,通过全局信息模块和局部信息模块获取图像中的特征信息从而帮助网络更好的学习图像中的信息。此外,还引入一个全局局部混合模块来让局部信息辅助全局特征从而更好的学习到图像中的潜在信息。其次,我们在每一个模块部分引入全局接受层,增加各个模块对图像中的上下文信息的提取提升模型性能。最后,在University‑1652数据集上进行测试,测试结果证明了本发明所提出的网络框架性能优于目前最先进的算法,验证了算法的有效性。
-
公开(公告)号:CN119850894A
公开(公告)日:2025-04-18
申请号:CN202411908371.X
申请日:2024-12-24
Applicant: 东北大学
Abstract: 本发明计算机视觉技术领域,公开一种基于关联指导网络的长期视觉定位方法。模型训练阶段包括感知网络训练和概念网络训练;概念网络训练完成后,概念网络作为预训练模型对感知网络进行训练,概念网络同时进行优化;关联指导机制进行信息交互;图像检索阶段,采用训练完成后的感知网络进行图像检索。该发明通过领域自适应学习及关联指导机制将概念网络中的特征用于指导感知网络中的特征学习,使模型最后训练得到的特征在环境变化下具有鲁棒性。此外,本发明使用了一种不需要额外数据构成的概念数据库用于对概念网络进行自启发的学习,以更好的对感知网络进行域特征指导,从而提高最终的图像检索性能。
-
公开(公告)号:CN118736154B
公开(公告)日:2024-11-12
申请号:CN202411222915.7
申请日:2024-09-03
Applicant: 东北大学
IPC: G06T17/05 , G06V20/58 , G06V20/70 , G06V10/26 , G06V10/44 , G06V10/42 , G06V10/80 , G06V10/764 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/09
Abstract: 本发明属于计算机视觉及自动驾驶技术领域,公开一种基于图结构建模与优化的在线矢量化地图构建方法。矢量化局部地图看作图结构,地图元素作为子图,地图元素中的关键点作为子图节点,初始化子图节点查询输入基于图结构的地图解码模块中,通过子图之间注意力进行子图查询特征交互,通过子图内部节点注意力与边注意力提升子图节点查询对子图全局特征与局部结构特征表征,通过可形变注意力模块与鸟瞰图视角特征进行交互增强,增强后的节点查询用于子图属性预测。本发明进一步挖掘矢量化地图结构属性,基于图结构的地图元素建模与地图解码,提升子图节点查询对地图元素结构的全面表征,提升矢量化地图构建的精度,促进自动驾驶在线地图构建的研究。
-
-
-
-
-
-
-
-
-