一种基于多模态大模型的家务助理机器人

    公开(公告)号:CN118456455B

    公开(公告)日:2024-11-15

    申请号:CN202410924776.6

    申请日:2024-07-11

    Applicant: 吉林大学

    Abstract: 本发明公开了一种基于多模态大模型的家务助理机器人,属于机器人控制、自然语言处理、计算机视觉的交叉领域,包括:静态场景处理模块、动作模块和控制模块;静态场景处理模块用于扫描工作环境,并对工作环境进行3D建模;动作模块用于实现机器人的水平方向的运动,以及对物体的交互动作;控制模块用于控制动作模块的动作,并基于多模态大模型LLaVa‑13B构建监督模型,基于监督模型对动作进行评价,再基于评价结果对动作进行调整。本发明的机器人对家用场景的泛化能力更强,比如家用场景中对特定物体的捡取、擦拭清洁、整理等任务高效的执行,在积累特定任务数据后,扩展机器人的能力,极大的提高用户的生活幸福指数。

    一种基于联合注意力和图学习增强的多模态讽刺检测方法

    公开(公告)号:CN118916683A

    公开(公告)日:2024-11-08

    申请号:CN202411389473.5

    申请日:2024-10-08

    Applicant: 吉林大学

    Abstract: 本发明属于人工智能的多模态讽刺检测技术领域,具体涉及一种基于联合注意力和图学习增强的多模态讽刺检测方法,包括:提取图像文本对的初始图像特征和初始文本特征;对所述初始图像特征和初始文本特征进行联合交叉注意力学习处理,获取联合注意力的图像特征和联合注意力的文本特征;利用图学习对所述联合注意力的文本特征进行增强;将增强后的文本特征和联合注意力的图像特征进行结合,利用结合后的特征预测讽刺倾向。本发明利用联合注意力机制以同时捕捉模态内与模态间的语义不一致性,利用图学习的方式使单模态内捕捉到的内在联系更好地融入到多模态信息当中,以解决多模态讽刺检测任务中的模态间讽刺信息不一致问题。

    一种基于知识蒸馏与变分自编码器的命名实体识别方法

    公开(公告)号:CN118395985B

    公开(公告)日:2024-10-22

    申请号:CN202410866352.9

    申请日:2024-07-01

    Applicant: 吉林大学

    Abstract: 本发明公开了一种基于知识蒸馏与变分自编码器的命名实体识别方法,属于人工智能的自然语言处理技术领域,包括以下步骤:构建有偏数据集对BERT‑large模型进行训练,获得有偏模型,作为教师模型;构建含跨域实体的数据集,结合变分自编码器对BERT‑large模型进行训练,获得学生模型;获取教师模型的输出特征,并从学生模型的变分自编码器的映射空间中解耦出鲁棒性特征和非鲁棒性特征;基于知识蒸馏将非鲁棒性特征与教师模型的输出特征进行拟合,进一步解耦出学生模型中更加鲁棒的特征,基于解耦出的鲁棒性特征进行命名实体识别。本发明实现了对命名实体识别任务中捷径学习的有效缓解,提升了命名实体识别任务的准确性。

    基于信号通道缩放和频域特征补全的人类活动识别方法

    公开(公告)号:CN118070106B

    公开(公告)日:2024-08-23

    申请号:CN202410465732.1

    申请日:2024-04-18

    Applicant: 吉林大学

    Abstract: 本发明提出了基于信号通道缩放和频域特征补全的人类活动识别方法,属于人类活动识别技术领域,包括:对人体活动中的传感器数据进行预处理,获取频域信息和时域信息;对所述频域信息和时域信息进行特征提取,并对提取的特征进行压缩以及特征融合,获取时频融合特征;利用预设分类器对所述时频融合特征进行分类识别,获取人体活动识别结果。本发明有效地校准了多通道信号的特征表示,更好地缓解了人类识别活动中数据的异质性问题,实现人类识别活动的准确识别。

    一种甲骨文字体构建方法

    公开(公告)号:CN114067331B

    公开(公告)日:2022-09-06

    申请号:CN202111412993.X

    申请日:2021-11-25

    Applicant: 吉林大学

    Abstract: 一种甲骨文字体构建方法,属于图像处理技术领域,包括收集甲骨文图片,并对所述甲骨文图片进行预处理;构建基于yolov4改进的目标检测模型提取处理后的甲骨文图片当中的部件,从而识别出构成甲骨文的部件和每个部件在甲骨文图片中所在的位置;构建部件位置关系推理模型,根据从甲骨文图片中识别出的构成甲骨文的部件以及每个部件在甲骨文图片中所在的位置,生成部件间位置关系;构建甲骨文部件的矢量图库;构建甲骨文文字与部件的知识图谱;生成包含完整部件的甲骨文的矢量图;根据得到的矢量图表示的最终文字结果,以ttf形式输出现代汉语立定字的字体。本发明方法实现了对知识库当中已有的古文字或者新的古文字拓片进行字体生成。

    基于语义技术和游戏化的智能课堂知识管理平台及方法

    公开(公告)号:CN107145559A

    公开(公告)日:2017-09-08

    申请号:CN201710301342.0

    申请日:2017-05-02

    Applicant: 吉林大学

    Inventor: 徐昊

    Abstract: 本发明涉及基于语义技术和游戏化的智能课堂知识管理平台及方法,所述平台包括面向结果的知识管理平台;面向结果的知识管理平台为针对个性化数据收集平台中收集到的个性化数据进行整合分析,创建每一个学生和教师的知识库,针对知识库实体数据形成关联,构建知识图谱,运用数据分析技术来搭建具有智能数据检索和分析服务的管理平台。本发明通过在课上和课下的游戏化智能设备的运用为学生提供多样化的学习模式,最大化学生的学习热情;对学生行为数据分析以及分析后的个性化推荐加反馈,实现个性化教育。

    一种基于知识蒸馏与变分自编码器的命名实体识别方法

    公开(公告)号:CN118395985A

    公开(公告)日:2024-07-26

    申请号:CN202410866352.9

    申请日:2024-07-01

    Applicant: 吉林大学

    Abstract: 本发明公开了一种基于知识蒸馏与变分自编码器的命名实体识别方法,属于人工智能的自然语言处理技术领域,包括以下步骤:构建有偏数据集对BERT‑large模型进行训练,获得有偏模型,作为教师模型;构建含跨域实体的数据集,结合变分自编码器对BERT‑large模型进行训练,获得学生模型;获取教师模型的输出特征,并从学生模型的变分自编码器的映射空间中解耦出鲁棒性特征和非鲁棒性特征;基于知识蒸馏将非鲁棒性特征与教师模型的输出特征进行拟合,进一步解耦出学生模型中更加鲁棒的特征,基于解耦出的鲁棒性特征进行命名实体识别。本发明实现了对命名实体识别任务中捷径学习的有效缓解,提升了命名实体识别任务的准确性。

Patent Agency Ranking