公开(公告)号：CN110929696A

公开(公告)日：2020-03-27

申请号：CN201911291168.1

申请日：2019-12-16

Applicant: 中国矿业大学

Inventor： 周勇 ,  杨劲松 ,  赵佳琦 ,  夏士雄 ,  姚睿 ,  刘兵 ,  杜文亮 ,  王秋

IPC: G06K9/00 ,  G06K9/62 ,  G06T7/12 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态注意与自适应融合的遥感图像语义分割方法，属于计算机视觉领域。具体包括：1)使用遥感图像多模态数据集，包括数据处理后的遥感图像及对应的深度图构建双流的语义分割网络；2)分别对输入图像提取不同尺度的特征，将获取的特征进行多层的自适应特征融合；3)使用多模态注意力机制对网络解码器部分的输入特征与编码器特征进行丰富语义信息的提取，关注相似的像素点。本发明利用多模态的遥感数据集，处理图像数据，结合双流网络结构，自适应融合提取的特征，并使用多模态注意力机制关注融合特征与编码特征，从而优化模型性能。

公开(公告)号：CN110796105A

公开(公告)日：2020-02-14

申请号：CN201911064946.3

申请日：2019-11-04

Applicant: 中国矿业大学

Inventor： 周勇 ,  杨劲松 ,  赵佳琦 ,  夏士雄 ,  姚睿 ,  刘兵 ,  杜文亮 ,  王秋

IPC: G06K9/00 ,  G06K9/62 ,  G06K9/48 ,  G06T7/12 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态数据融合的遥感图像语义分割方法，属于计算机视觉领域。具体实现：1)使用遥感图像多模态数据集，包括遥感图像及对应的深度图构建双流的语义分割网络：2)分别对输入图像提取不同尺度的特征，将获取的特征进行多层的特征融合；3)使用注意力机制对网络解码器部分的输入特征与编码器特征进行丰富语义信息的提取，关注相似的像素点。本发明利用多模态的遥感数据集，结合双流网络结构，融合提取的特征，并使用注意力机制关注融合特征与解码特征，从而优化模型性能。