公开(公告)号：CN119202627A

公开(公告)日：2024-12-27

申请号：CN202411708302.4

申请日：2024-11-27

Applicant: 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所)

Inventor： 陈初杰 ,  瞿崇晓 ,  许斌 ,  张建楠

IPC: G06F18/20 ,  G06F18/213 ,  G06F18/25 ,  G06V10/80 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明公开了一种富媒体数据的立体监测感知方法，包括获取待监测数据，输入至训练好的立体监测感知模型，得到包括态势描述和目标识别结果的感知结果，所述立体监测感知模型包括由数据输入至输出方向依次连接的特征提取模块、特征融合模块、特征对齐模块、大语言模型和特征映射器。本富媒体数据的立体监测感知方法针对不同类型的数据进行监测，有效实现不同模态、不同源域的数据的高维特征融合，实现深度环境立体感知；通过特征提取模块提取特征过程中，既对数据、又对图像进行特征提取，并通过特征融合模块进行浅层和深层的融合，最大程度减少信息损失，获得更加准确的感知结果。