-
公开(公告)号:CN119557426B
公开(公告)日:2025-04-18
申请号:CN202510111855.X
申请日:2025-01-24
Applicant: 烟台大学 , 哈尔滨工业大学(威海)
IPC: G06F16/334 , G06F18/25 , G06F18/213 , G06N3/04
Abstract: 本发明涉及多模态情感分析技术领域,尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。所述方法,包括获取情感分析多模态数据,构建情感分析模型,包括构建多头注意力机制分别对文本、图像和音频模态进行编码处理,并将编码后的各模态特征拼接融合;利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行挖掘;通过构建全连接神经网络评估联合特征中各模态对情感分析任务的贡献程度;将联合特征和加权后的各模态特征融合实现特征补充优化,利用训练完成的模型输出情感预测结果,本发明通过构建多头注意力机制对各模态进行编码处理,将编码后的模态特征进行拼接融合,从而显著提升情感分析的准确性。
-
公开(公告)号:CN118965139B
公开(公告)日:2025-03-04
申请号:CN202411464881.2
申请日:2024-10-21
Applicant: 烟台大学 , 哈尔滨工业大学(威海)
IPC: G06F18/2411 , G06F18/213 , G06F18/25 , G06V10/764 , G06V10/40 , G06V10/80
Abstract: 本申请涉及多模态数据处理技术领域,具体为以音频模态为目标模态的多模态情感分析方法和系统;为解决现有技术中多模态情感分析准确度较低的问题,本申请制定当存在音频模态时,将图像模态和文本模态翻译为音频模态,经融合后进行神经网络处理,得到多模态情感预测结果;当不存在音频模态时,用互信息分数来判断哪个模态中所含的情感信息更多,以此来让其他模态向其翻译,得到缺失联合特征,并将标准完整联合特征作为目标,缺失联合特征向完整联合特征逼近进行神经网络处理,得到多模态情感预测结果;该方法应用到多模态情感分析领域中,处理过程更灵活、分析过程更全面、更合理,得到情感预测结果准确度更高。
-
公开(公告)号:CN119720102A
公开(公告)日:2025-03-28
申请号:CN202510228062.6
申请日:2025-02-28
Applicant: 烟台大学 , 哈尔滨工业大学(威海)
IPC: G06F18/25 , G06F18/214 , G06F18/2431 , G06F18/213 , G06F18/22 , G06N3/092
Abstract: 本发明涉及多模态情感分析技术领域,尤其是涉及基于融合分解与主干聚拢的多模态情感分析方法及系统。所述方法,包括获取带有不确定缺失的多模态数据,构建情感分析模型,利用训练完成的模型输出情感预测结果。本发明的基于融合分解与主干聚拢的多模态情感分析方法,提出了金字塔多头注意力机制,金字塔多头注意力机制通过层层递进的方式逐步增加注意力头的数量,并自适应结合各层的结果,从而更好地提取不同模态中的多层次特征信息,提高情感分析的准确性和鲁棒性;此外,为了节省多头注意力的资源消耗以及提升运行速度,将多头注意力中的值(V)去掉,直接用键(K)来代替V,以此去掉V相关的操作来提升性能。
-
公开(公告)号:CN119557426A
公开(公告)日:2025-03-04
申请号:CN202510111855.X
申请日:2025-01-24
Applicant: 烟台大学 , 哈尔滨工业大学(威海)
IPC: G06F16/334 , G06F18/25 , G06F18/213 , G06N3/04
Abstract: 本发明涉及多模态情感分析技术领域,尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。所述方法,包括获取情感分析多模态数据,构建情感分析模型,包括构建多头注意力机制分别对文本、图像和音频模态进行编码处理,并将编码后的各模态特征拼接融合;利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行挖掘;通过构建全连接神经网络评估联合特征中各模态对情感分析任务的贡献程度;将联合特征和加权后的各模态特征融合实现特征补充优化,利用训练完成的模型输出情感预测结果,本发明通过构建多头注意力机制对各模态进行编码处理,将编码后的模态特征进行拼接融合,从而显著提升情感分析的准确性。
-
公开(公告)号:CN118965139A
公开(公告)日:2024-11-15
申请号:CN202411464881.2
申请日:2024-10-21
Applicant: 烟台大学 , 哈尔滨工业大学(威海)
IPC: G06F18/2411 , G06F18/213 , G06F18/25 , G06V10/764 , G06V10/40 , G06V10/80
Abstract: 本申请涉及多模态数据处理技术领域,具体为以音频模态为目标模态的多模态情感分析方法和系统;为解决现有技术中多模态情感分析准确度较低的问题,本申请制定当存在音频模态时,将图像模态和文本模态翻译为音频模态,经融合后进行神经网络处理,得到多模态情感预测结果;当不存在音频模态时,用互信息分数来判断哪个模态中所含的情感信息更多,以此来让其他模态向其翻译,得到缺失联合特征,并将标准完整联合特征作为目标,缺失联合特征向完整联合特征逼近进行神经网络处理,得到多模态情感预测结果;该方法应用到多模态情感分析领域中,处理过程更灵活、分析过程更全面、更合理,得到情感预测结果准确度更高。
-
公开(公告)号:CN119780025A
公开(公告)日:2025-04-08
申请号:CN202411877714.0
申请日:2024-12-19
Applicant: 烟台大学
IPC: G01N21/3577 , G01N21/359 , G06N3/084 , G06N3/0985 , G06N3/0464 , G06N3/086
Abstract: 本发明涉及海洋溢油监测技术领域,尤其是涉及一种基于近红外吸收光谱的海水含油浓度检测方法及系统。方法,包括获取不同油样的不同浓度的光谱样本;采集不同浓度下光谱样本的原始近红外光谱;基于不同浓度近红外光谱强度差选取特征波段,对特征波段内光谱数据进行提取;对特征波段内光谱数据进行归一化预处理;利用特征波段内光谱数据训练深度学习模型,得到含有浓度结果;本发明能够有效反演海水含油的浓度,为海洋溢油监测与船舶含油海水排放的浓度检测提供了新的方法。
-
公开(公告)号:CN119676094A
公开(公告)日:2025-03-21
申请号:CN202510185592.7
申请日:2025-02-20
Applicant: 烟台大学
IPC: H04L41/12 , H04L41/142 , H04L41/16 , H04L41/0631 , H04L67/12 , G06N3/04 , G06N3/08 , G06N5/022
Abstract: 本发明涉及工业物联网检测技术领域,尤其是涉及一种基于联邦图神经网络工业物联网设备检测方法及系统。所述方法,包括获取每个设备的实时运行状态数据和传感器的测量值,利用输入数据作为设备节点特征构建拓扑图,并基于拓扑图引入知识图谱,将客户端设备状态与知识图谱信息进行融合,引入注意力机制对客户端本地模型的权重进行自适应调整;基于融合后的节点特征进行特征增强,建立基于强化学习的联邦图神经网络客户端动态调度策略,利用全局模型进行图结构数据的节点分类任务,本发明基于融合后的节点特征进行特征增强、引入投影头和计算对比损失,提升了模型在缺乏标注数据下的性能,使模型学习到更稳健特征,增强了对设备故障的判断准确性。
-
公开(公告)号:CN119130801B
公开(公告)日:2025-03-14
申请号:CN202411603889.2
申请日:2024-11-12
Applicant: 烟台大学
IPC: G06T3/4046 , G06T3/4076 , G06T3/4023 , G06N3/0464
Abstract: 本发明属于图像处理技术领域,具体涉及一种遥感图像重建模型的构建及训练方法、系统,该遥感图像重建模型以先验特征为指导,提取局部特征和全局特征并进行自适应特征融合,对低分辨率图像进行重建,其中先验特征为图像的结构、纹理和边缘等提供了额外信息,使得模型能够更精确地重建高分辨率图像的细节;且提取局部特征和全局特征时,充分利用先验特征和全局上下文关系,并采用自适应特征融合处理将局部特征和全局特征融合,增强了模型在超分辨率重建任务中的表现。
-
公开(公告)号:CN118229764B
公开(公告)日:2025-02-25
申请号:CN202410424179.7
申请日:2024-04-10
Applicant: 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) , 烟台大学
IPC: G06T7/62 , G06T7/11 , G06T7/136 , G06T5/50 , G06V20/10 , G06V10/26 , G06V10/764 , G06V10/80 , G06V10/52
Abstract: 本发明涉及图像处理技术领域,具体为基于多尺度图卷积的海草床面积获取方法、系统和设备,为解决目前获取海草床面积结果的准确度和稳定性较低的问题,本发明首先将邻域通道差异度小于邻域通道差异度阈值的像素点,作为种子像素点进行超像素生长处理,得到超像素海草床图;然后,将超像素海草床图进行残差处理和分割后,获取多尺度邻接矩阵,将多尺度邻接矩阵分别与超像素海草床分割图进行图卷积处理后进行融合,得到海草床融合特征图;最后,将海草床融合特征图进行分类处理,获取海草像素点数后,与海草床图像面积结合计算得到海草床面积;该获取方法应用在海草床面积计算领域,不仅省时省力,还能提高海草床面积获取的准确度以及稳定性。
-
公开(公告)号:CN119339245A
公开(公告)日:2025-01-21
申请号:CN202411863953.0
申请日:2024-12-18
Applicant: 烟台大学
Abstract: 本发明涉及海洋赤潮预测技术领域,尤其是涉及一种基于双通道时空图神经网络的赤潮异常预测方法及系统。方法,包括将预处理后的海洋环境监测数据转换成图结构,其中节点表示海洋监测站;并基于皮尔逊相关系数构造邻接矩阵,邻接矩阵元素表示节点之间的空间相关性;利用时空图神经网络对图结构进行空间和时间特征提取;本发明结合了时空图神经网络与遥感图像数据的深度特征提取能力,通过图卷积和卷积神经网络(CNN)多层操作,实现了海洋赤潮异常的精准预测。
-
-
-
-
-
-
-
-
-