-
公开(公告)号:CN114239730A
公开(公告)日:2022-03-25
申请号:CN202111564321.0
申请日:2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法,包括:构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型;将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练;结合近邻样本排序损失函数和语义相似度度量损失函数,计算语义对齐的损失值,通过训练缩小损失值,得到训练好的深度神经网络模型;通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达,并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中,实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号:CN113010720A
公开(公告)日:2021-06-22
申请号:CN202110208356.4
申请日:2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
IPC: G06F16/583 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供一种基于关键对象特征的深度监督跨模态检索方法,具体包括:首先构建特征学习模块抽取每个模态的深度特征,建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征,然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征,最后建立三重损失函数:公共空间损失,标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。
-
公开(公告)号:CN112905822A
公开(公告)日:2021-06-04
申请号:CN202110144443.8
申请日:2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法,针对每个模态构建深度学习网络获取深度特征,引入生成对抗网络,利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征,在公共子空间进行异质性数据的度量的同时,利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络,使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能;在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算,从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者,实现跨模态检索。
-
公开(公告)号:CN119477922B
公开(公告)日:2025-04-22
申请号:CN202510067481.6
申请日:2025-01-16
Applicant: 华侨大学
IPC: G06T7/00 , G06N3/0464 , G06N3/084 , G06N3/096 , G06V10/44 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本发明提供掩模与语义协同优化扩散模型的石材表面瑕疵检测方法,属于瑕疵检测领域,包括:获取数据集;将输入图片输入编码器以得到输入表征,对输入表征进行高斯噪声向前扩散得到全噪声表征;将各输入表征与掩模图片点乘后输入掩模引导的知识提炼网络以生成掩模表征;将输入表征输入含多维特征金字塔的语义引导增强网络以得到语义表征;将全噪声表征、掩膜表征和语义表征进行拼接后,进行反向扩散以逐步去除噪声,并解码生成重建图片;将输入图片及其对应的重建图片均输入特征提取网络,进而计算得到异常得分;根据异常得分进行排序并形成异常得分列表,将异常得分列表对应的输入图片的热力图反馈至用户。本发明能够有效提升对瑕疵的检测精度。
-
公开(公告)号:CN119850441A
公开(公告)日:2025-04-18
申请号:CN202510317059.1
申请日:2025-03-18
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
Abstract: 本发明公开了一种基于频域边界协同优化的沉浸式视频增强方法及装置,涉及视频处理领域,包括:获取待重建的压缩的多视点纹理加深度视频序列并输入到经训练的沉浸式视频增强模型;当前的待增强视频帧先经过特征提取模块,分别提取得到高频特征和低频特征;高频特征和低频特征经过频域增强模块,得到频域增强图像;频域增强图像和当前的待增强视频帧输入到边界增强模块,得到融合图像;融合图像和当前的待增强视频帧的相邻视频帧输入到时空可变形卷积模块,得到对齐后的融合图像,对齐后的融合图像经过质量增强模块,预测得到增强残差并生成对应的重建视频。本发明解决压缩伪影、边界伪影以及沉浸式视频的质量低等问题。
-
公开(公告)号:CN119599875B
公开(公告)日:2025-04-11
申请号:CN202510138336.2
申请日:2025-02-08
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/08 , G06T3/4038 , G06T3/4046 , G06T5/60 , G06T5/73
Abstract: 本发明公开了一种面向局部运动模糊的图像超分辨率方法及装置,涉及图像处理领域,包括:获取待重建的低分辨率图像并输入到经训练的图像超分辨率模型,低分辨率图像输入到图像选择模块,得到图像分组标签,图像分组标签包括正标签和负标签,正标签与模糊图像块相对应,负标签与其他图像块相对应;根据图像分组标签分别将正标签相对应的模糊图像块以及负标签相对应的其他图像块输入到正标签特征提取分支和负标签特征提取分支,得到正标签特征和负标签特征,正标签特征和负标签特征经过拼接层进行拼接,得到图像特征;图像特征经过图像重建模块,重建得到对应的高分辨率图像。本发明解决了局部运动模糊图像在超分辨率重建中性能差和效率低的问题。
-
公开(公告)号:CN119762721A
公开(公告)日:2025-04-04
申请号:CN202510261796.4
申请日:2025-03-06
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G06T19/20 , G06T9/00 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于语义与几何引导的多阶段Mamba点云补全方法及装置,涉及点云处理领域,包括:构建基于语义与几何引导的多阶段Mamba点云补全模型并训练,得到经训练的多阶段Mamba点云补全模型;多排序策略Mamba解码器单元包括依次连接的若干个阶段的多排序策略Mamba解码器;获取待补全的不完整点云并输入到经训练的多阶段Mamba点云补全模型,不完整点云经过Transformer‑Mamba联合的点云局部特征编码单元,得到编码特征,编码特征输入到稀疏点云生成单元中,得到稀疏点云;稀疏点云输入到多排序策略Mamba解码器单元中,得到解码特征,解码特征经过点云上采样单元,得到预测的完整点云,克服现有Transformer编码器‑解码器结构二次方复杂度和局部细节丢失的问题。
-
公开(公告)号:CN119478751B
公开(公告)日:2025-03-25
申请号:CN202510062002.1
申请日:2025-01-15
IPC: G06V20/30 , G06V40/70 , G06V40/10 , G06V40/16 , G06V10/44 , G06V10/74 , G06V10/762 , G06V10/774 , G06V10/80 , G06F16/583 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种基于渐进式多源特征融合与对齐的人像聚档方法及装置,涉及公共视频智能分析领域,包括:构建人像聚档模型,在人像聚档模型中,对人脸图像、人脸模拟素描画像、人体图像、人体模拟素描画像的特征进行渐进融合,并通过伪标签聚类和相似度约束对齐人体特征与人脸特征,有效融合多源人像特征,生成渐进多源融合的行人特征;将待查询人员的人脸图像、人体图像及其相对应的人脸模拟素描画像、人体模拟素描画像输入到经训练的人像聚档模型,得到待查询人员的渐进多源融合的行人特征,并计算其与数据库中每个参考样本的渐进多源融合的行人特征的相似度,以进行人像聚档。
-
公开(公告)号:CN119180753B
公开(公告)日:2025-03-14
申请号:CN202411681831.X
申请日:2024-11-22
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/045 , G06N3/0464 , G06T3/4046
Abstract: 本发明涉及图像超分辨率技术领域,公开了一种特征强化的跨窗口轻量级超分辨率方法、系统及电子设备,方法包括以下步骤:构建基于Token字典交叉的自注意力机制,并引入Token分组机制,组成基于Token分组的字典交叉自注意力模块,即TDAB模块;基于TDAB模块构建特征强化的跨窗口轻量级超分辨率网络;使用所述特征强化的跨窗口轻量级超分辨率网络对待重建的低分辨率图像进行重建,得到重建结果。本方法在经典超分辨率方法的基础上引入基于Token字典交叉的自注意力机制、基于Token分组的混合注意力模块,在使模型更轻量化的同时增强了模型对于跨越窗口依赖的捕获能力以及对于纹理细节特征的重建效果。
-
公开(公告)号:CN119599875A
公开(公告)日:2025-03-11
申请号:CN202510138336.2
申请日:2025-02-08
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/08 , G06T3/4038 , G06T3/4046 , G06T5/60 , G06T5/73
Abstract: 本发明公开了一种面向局部运动模糊的图像超分辨率方法及装置,涉及图像处理领域,包括:获取待重建的低分辨率图像并输入到经训练的图像超分辨率模型,低分辨率图像输入到图像选择模块,得到图像分组标签,图像分组标签包括正标签和负标签,正标签与模糊图像块相对应,负标签与其他图像块相对应;根据图像分组标签分别将正标签相对应的模糊图像块以及负标签相对应的其他图像块输入到正标签特征提取分支和负标签特征提取分支,得到正标签特征和负标签特征,正标签特征和负标签特征经过拼接层进行拼接,得到图像特征;图像特征经过图像重建模块,重建得到对应的高分辨率图像。本发明解决了局部运动模糊图像在超分辨率重建中性能差和效率低的问题。
-
-
-
-
-
-
-
-
-