公开(公告)号：CN117115412A

公开(公告)日：2023-11-24

申请号：CN202311121368.9

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 曹刘娟 ,  王思伟 ,  陈志威 ,  纪荣嵘

IPC: G06V10/20 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774

Abstract: 一种基于加权得分标签分配的小目标检测方法，涉及计算机视觉。将预处理后待检测的图片及其对应的类别送入神经网络；对图片特征提取和特征融合，根据特征筛选样本框送入加权得分标签分配模块中；加权得分标签分配为样本框根据加权得分分配正标签和负标签；模型训练过程中输出待图片中检测目标对应每一个类别的概率数值。测试过程中输出待检测图片预测的框的坐标、类别、得分。标签分配过程发生在模型训练之前，加权得分在原有的IoU分数的基础上引入两个完全解耦的得分。有效缓解IoU得分对大物体的倾斜问题，使模型更好地检测到小目标，同时也保证样本框的质量。在DOTA和HRSC2016数据集上实验，实现显著和一致的性能改进。

公开(公告)号：CN116561368A

公开(公告)日：2023-08-08

申请号：CN202310662783.9

申请日：2023-06-06

Applicant: 厦门大学

Inventor： 洪泽波 ,  纪荣嵘 ,  曹刘娟 ,  张声传

IPC: G06F16/583 ,  G06F16/532 ,  G06F40/126 ,  G06V10/774 ,  G06V10/82

Abstract: 一种基于多任务训练的图像描述和问答方法，涉及计算机视觉和计算机语言。使用BLIP预训练模型，载入大规模图文数据集预训练；预处理图像描述数据和图像问答数据，使用标识符区分输入数据，图像描述、图像问答两个任务在同一框架下实现；构建多任务模型，使用多模态图像文本特征提取，图像经过视觉特征提取模块成为视觉向量，作为注意力输入到文本特征提取模块之中；文本使用LM损失函数，使模型学习文本的输出内容；根据模型训练的任务计算对应的损失函数及权重：动态学习分配多个任务的损失权重，调整最优学习方式。在同一个模型下实现图像描述和图像问答，可公用数据集，性能显著提升。产生的问答对捕捉更多图片细节，质量高。

公开(公告)号：CN116433982A

公开(公告)日：2023-07-14

申请号：CN202310433819.6

申请日：2023-04-21

Applicant: 厦门大学

Inventor： 曹刘娟 ,  陈志威 ,  王思伟

IPC: G06V10/764 ,  G06V10/774 ,  G06T3/40 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于自适应域学习的弱监督目标定位方法，涉计算机视觉技术。模型训练阶段：步骤1，对待检测的图片进行预处理，然后将预处理后待检测的图片及其对应的类别送入神经网络；步骤2，神经网络对图片进行处理，在训练过程中输出待检测图片对应每一个类别的概率数值。模型测试阶段：在测试过程中输出待检测图片预测的框的坐标、类别、得分。ALM诱导网络对抗性地以最大程度生成图片的前景和背景，OLM在此基础上细化前景和背景，获得精细化的物体与背景信息。对于前背景区分效果不理想的图片，RLM提取前景中的关键信息，使网络对其进一步学习。在CUB‑200‑2011和ILSVRC数据集上实验，可实现显著和一致的性能改进。

公开(公告)号：CN116229519A

公开(公告)日：2023-06-06

申请号：CN202310260793.X

申请日：2023-03-17

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  叶苏航 ,  曹刘娟

IPC: G06V40/10 ,  G06N3/045 ,  G06N3/096

Abstract: 一种基于知识蒸馏的二维人体姿态估计方法，属于图像处理技术领域。通过引入知识蒸馏技术，将采用基于热力图的方法的二维人体姿态估计器作为教师模型，将采用基于坐标回归的方法的二维人体姿态估计器作为学生模型，实现从基于热力图的二维人体姿态估计方法到基于坐标回归的二维人体姿态估计方法的知识蒸馏。本方法共提出“隐式特征‑蒸馏”与“热力图‑蒸馏”两大类别的蒸馏方式，提取教师模型中隐式特征和热力图所蕴含的信息，并传递给学生模型，进而在未改变学生模型大小的情况下，极大地增进学生模型的性能。

公开(公告)号：CN116168268A

公开(公告)日：2023-05-26

申请号：CN202310112009.0

申请日：2023-02-14

Applicant: 厦门大学

Inventor： 曹刘娟 ,  李明

IPC: G06V10/774 ,  G06V10/776 ,  G06V10/82 ,  G06V10/778 ,  G06N3/0464 ,  G06N3/0985

Abstract: 基于特征空间分布均匀性的长尾分布方法，涉及深度神经网络数据训练。包括以下步骤：1)在交叉熵损失的基础上根据每个类别的样本数量计算一个自适应的损失函数加权项；2)在训练的过程中，根据每个样本的归一化熵值对其最终的训练损失进行加权；3)随机选择两个样本，融合二者的数据和标签，给样本数量更少的类更大的融合权重；4)在融合后的数据样本上，同时使用1)和2)的损失加权项，训练神经网络模型，直到模型收敛。能有效地保证特征空间分布的均匀性，帮助深度学习模型学习好的特征表示，并以此提升模型在长尾分布下的精度和校准能力。