公开(公告)号：CN115810109A

公开(公告)日：2023-03-17

申请号：CN202211468118.8

申请日：2022-11-22

Applicant: 厦门大学

Inventor： 邱鲤鲤 ,  吴清锋 ,  刘佳桐 ,  周昌乐 ,  阮群生

IPC: G06V10/40 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明第一方面提出一种舌像特征提取方法，其包括以下步骤：S1，获取舌像数据；S2，将舌像数据送入基于生成对抗网络的TongueIFE‑GAN模型，TongueIFE‑GAN模型包括判别器和生成器；S3，获取判别器输出的舌像特征。上述方案提出构建一个对抗主干网络，对舌象图像实施高质量的特征提取。该模型具有良好的通用性，通过在生成器中融入不同的舌像处理模型，训练和优化判别器，TongueIFE‑GAN能够根据舌象分类、分割等任务进一步提升判别器的特征提取能力。进一步地，编码器DE中还接入类激活映射CAM模块，可进一步优化编码器的特征处理性能，为模型运行结果的可解释性提供了一种可视化手段。进一步地，在TongueIFE‑GAN模型内部设计舌象分割任务模块和/或舌象分类任务模块，以执行相应的任务。

公开(公告)号：CN114863093A

公开(公告)日：2022-08-05

申请号：CN202210603543.7

申请日：2022-05-30

Applicant: 厦门大学

Inventor： 邱鲤鲤 ,  刘佳桐 ,  王珍珍 ,  陈兆其 ,  李梅 ,  李君楠

IPC: G06V10/25 ,  G06V10/75 ,  G06V10/77 ,  G06V10/774 ,  G06V10/82 ,  G06V10/20 ,  G06N3/04 ,  G06N3/08 ,  G06F3/01

Abstract: 本发明公开了基于眼动技术的神经网络训练方法及建筑设计方法和系统，本方案通过将建筑立面图和对应不同人口学信息下的眼动数据作为训练数据，经训练所得的第一神经网络可用于预测不同人口学信息下的人员对建筑立面图的注意热点、视觉焦点和眼动轨迹，这些数据可用于建筑设计辅助，起到关注重心辅助定位的效果，以使得建筑设计人员能够对人们着重关注的区域进行更为精细化地设计，本方案还通过第二训练数据包训练第二神经网络，第二神经网络可深入应用到具有留白区域的建筑立面图设计中，为建筑设计提供人性化、灵活化的辅助，本方案不仅实施可靠、且神经网络训练的数据来源广泛，经训练至收敛后的模型，在建筑设计辅助中具有较好的应用推广前景。

公开(公告)号：CN114708627A

公开(公告)日：2022-07-05

申请号：CN202210186949.X

申请日：2022-02-28

Applicant: 厦门大学

Inventor： 刘昆宏 ,  陈滨 ,  姚俊峰 ,  林伟平 ,  叶晓娜 ,  刘佳桐

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/44 ,  G06V10/62 ,  G06V10/764 ,  G06V10/774 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明公开一种应用于社交机器人的人脸微表情识别方法。步骤一：社交机器人从摄像头获取视觉输入。步骤二：社交机器人的中央处理单元对视觉输入进行人脸定位。步骤三：中央处理单元提取四种光流信息的输入组。步骤四：将输入组传入训练好的分块卷积网络中，得到分类后的微表情状态。步骤五：社交机器人的交互层根据用户不同的微表情状态来进行相应的响应。本发明设计了一个全新的基于深度特征增强的分块卷积网络，提高了微表情识别的泛化性和鲁棒性，并应用于社交机器人，使得社交机器人可以实时地根据用户的微表情状态实施不同的响应方式。

公开(公告)号：CN114863093B

公开(公告)日：2024-05-31

申请号：CN202210603543.7

申请日：2022-05-30

Applicant: 厦门大学

Inventor： 邱鲤鲤 ,  刘佳桐 ,  王珍珍 ,  陈兆其 ,  李梅 ,  李君楠

IPC: G06V10/25 ,  G06V10/75 ,  G06V10/77 ,  G06V10/774 ,  G06V10/82 ,  G06V10/20 ,  G06N3/0464 ,  G06N3/08 ,  G06F3/01

Abstract: 本发明公开了基于眼动技术的神经网络训练方法及建筑设计方法和系统，本方案通过将建筑立面图和对应不同人口学信息下的眼动数据作为训练数据，经训练所得的第一神经网络可用于预测不同人口学信息下的人员对建筑立面图的注意热点、视觉焦点和眼动轨迹，这些数据可用于建筑设计辅助，起到关注重心辅助定位的效果，以使得建筑设计人员能够对人们着重关注的区域进行更为精细化地设计，本方案还通过第二训练数据包训练第二神经网络，第二神经网络可深入应用到具有留白区域的建筑立面图设计中，为建筑设计提供人性化、灵活化的辅助，本方案不仅实施可靠、且神经网络训练的数据来源广泛，经训练至收敛后的模型，在建筑设计辅助中具有较好的应用推广前景。

公开(公告)号：CN114708627B

公开(公告)日：2024-05-31

申请号：CN202210186949.X

申请日：2022-02-28

Applicant: 厦门大学

Inventor： 刘昆宏 ,  陈滨 ,  姚俊峰 ,  林伟平 ,  叶晓娜 ,  刘佳桐

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/44 ,  G06V10/62 ,  G06V10/764 ,  G06V10/774 ,  G06N3/0464 ,  G06N3/082

Abstract: 本发明公开一种应用于社交机器人的人脸微表情识别方法。步骤一：社交机器人从摄像头获取视觉输入。步骤二：社交机器人的中央处理单元对视觉输入进行人脸定位。步骤三：中央处理单元提取四种光流信息的输入组。步骤四：将输入组传入训练好的分块卷积网络中，得到分类后的微表情状态。步骤五：社交机器人的交互层根据用户不同的微表情状态来进行相应的响应。本发明设计了一个全新的基于深度特征增强的分块卷积网络，提高了微表情识别的泛化性和鲁棒性，并应用于社交机器人，使得社交机器人可以实时地根据用户的微表情状态实施不同的响应方式。

公开(公告)号：CN115828152A

公开(公告)日：2023-03-21

申请号：CN202211468047.1

申请日：2022-11-22

Applicant: 厦门大学

Inventor： 邱鲤鲤 ,  吴清锋 ,  刘佳桐 ,  周昌乐 ,  阮群生

IPC: G06F18/241 ,  G16B40/20 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明第一方面提出一种基于图卷积网络的抗癌肽分类方法，包括：S1，获取抗癌肽的训练数据集和测试数据集；S2，将抗癌肽序列构造成以氨基酸节点为顶点的图结构网络并进行编码，获得图结构数据；S3，构建图卷积坍缩池化和残差网络模型，将所述图结构数据输入模型训练；以及，S4，应用训练好的所述模型进行抗癌肽的分类。其中，图卷积坍缩池化和残差网络模型包括堆叠图卷积网络模块、图坍缩池化模块和残差网络模块。上述方案将抗癌肽数据视为一种类似于图结构的数据，利用图卷积神经网络来处理抗癌肽的分类问题，有效区分抗癌肽和非抗癌肽，避免了已有的模型存在识别准确度不高、泛化能力不够、使用的特征和预测模型缺乏大规模评估等问题。

公开(公告)号：CN114973362A

公开(公告)日：2022-08-30

申请号：CN202210549594.6

申请日：2022-05-20

Applicant: 厦门大学

Inventor： 刘昆宏 ,  刘佳桐 ,  邹嘉禹 ,  吴清强 ,  林伟平 ,  王备战 ,  陈滨

IPC: G06V40/16 ,  G06N3/04 ,  G06N3/08 ,  G06V10/26 ,  G06V10/30 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种应用于社交机器人的动态延长编码微表情识别方法，属于微表情领域；所述方法包括如下步骤：S1、对数据集中的数据进行增强扩充数据量并预处理；S2、搭建表情识别模型并利用S1中的数据集进行训练；S3、将步骤S2中训练后的表情识别模型进行优化调整；S4、输出最终的表情识别模型；本发明方法构建表情识别模型为基于一个标准卷积神经网络的实时CNN，有四个residual模块，每一个卷积均有一个BatchNormalization和Relu处理，末尾的卷积层也添加了全局平均池化层和softmax层；此架构包含大约六万个参数，是基本模型的十分之一；经过测试，系统在自闭症患儿数据集上的准确率达到70％，改进后的模型相较于之前获得了更高的识别精度。