基于对比-生成式预训练模型的遥感问答系统

    公开(公告)号:CN119445394A

    公开(公告)日:2025-02-14

    申请号:CN202411588777.4

    申请日:2024-11-08

    Applicant: 河海大学

    Abstract: 本发明公开了基于对比‑生成式预训练模型的遥感问答系统,首先搜集分类、语义分割、目标检测、图文检索和图像文本生成等任务的遥感图像作为原始数据,并统一转换为图文对形式。通过分割处理计算类别面积占比,检测目标类别及其位置信息,并通过CLIP模型进行零样本分类。接着,将多源信息输入多模态大语言模型,根据问题生成图像的文本描述,完成遥感全局视觉问答数据集的构造。同时,基于标注框裁切图片并送入多模态大语言模型,以获得遥感局部视觉问答数据集。然后,分由粗到精两阶段预训练对比‑生成式模型,使其具备全局‑局部级遥感知识与视觉问答能力。最后通过构建用户友好的系统界面,实现与用户的问答交互。

    一种基于轮廓的水工建筑物缺陷实例分割方法

    公开(公告)号:CN118379495B

    公开(公告)日:2024-09-17

    申请号:CN202410529026.9

    申请日:2024-04-29

    Applicant: 河海大学

    Abstract: 本发明公开了一种基于轮廓的水工建筑物缺陷实例分割方法,包括:对数据集进行预处理得到水工建筑物缺陷图像数据集,并将数据集分为训练集、测试集;构建基于实例中心特征的轮廓初始化网络,采用DLA‑34提取特征,通过预测分支网络生成数据集缺陷初始轮廓;构建基于差异化模块的轮廓变形网络,并在初始化网络的基础上使用训练数据集进行模型训练;将测试数据集输入至训练好的网络中,通过三次轮廓变形得到实例分割后的图像;持续拍摄水工建筑物的照片,将图片输入至网络中,得出不同时刻缺陷分割结果,比较分割结果,判断缺陷演进趋势。本发明采用基于轮廓的实例分割技术,克服了依赖人工勘查的传统缺陷检测限制,提高了检测的实时性和准确性。

    一种仿生无人机群大坝库区智能巡检方法

    公开(公告)号:CN117193348A

    公开(公告)日:2023-12-08

    申请号:CN202310069759.4

    申请日:2023-02-03

    Applicant: 河海大学

    Abstract: 本发明公开了一种仿生无人机群大坝库区智能巡检方法,包括如下步骤:利用北斗导航系统定位每架无人机以及大坝库区障碍物位置;通过北斗/惯导组合导航实现大坝库区内弱/无信号环境下定位信息的获取;针对库区内需进行信息采集的重点关注部位,采用单仓库闭合路径的MTSP(multiple traveling salesman problem,多旅行商问题)为无人机群中每架无人机分配巡检任务;应用动态簇粒子群算法实现多段路径规划;采用人工势场法对无人机群进行实时避障控制。本发明为无人机群智能巡检提供了高精度定位基础,同时提供了可靠高效的任务分配方案和巡检路径,且能够动态应对复杂环境下存在的各种障碍物,提高了大坝库区无人机群智能巡检的效率。

Patent Agency Ranking