-
公开(公告)号：CN119337325B
公开(公告)日：2025-04-04
申请号：CN202411884879.0
申请日：2024-12-20
Applicant: 北京科技大学
IPC: G06F18/25 , G06F18/214 , G06F18/22 , G06F18/213 , G06N3/0442 , G06N3/08
Abstract: 本发明提供一种基于预训练模型和金字塔图融合的多模态人格预测方法及装置，涉及情感计算技术领域。该方法包括：根据原始视频以及预设的人格描述词列表，通过预训练模型进行单模态特征提取，获得三类单模态特征；基于相似性函数，根据三类单模态特征进行两单模态间相似性计算，得到双模态关联特征；根据文本数据和三类单模态特征，通过特征编码器进行特征拼接，获得三模态组合特征；根据三类单模态特征、双模态关联特征和三模态组合特征通过金字塔图融合网络进行特征融合，获得多模态融合特征；输入双层感知机进行人格预测，获得人格预测结果。本发明是一种集成预训练模型以及金字塔图融合网络的准确度高的多模态人格预测方法。
-
公开(公告)号：CN114220522A
公开(公告)日：2022-03-22
申请号：CN202210159451.4
申请日：2022-02-22
Applicant: 北京科技大学
Abstract: 本发明公开了一种基于视觉认知注意的心理测评数据采集与干预方法及系统，涉及数据采集技术领域。包括：控制客户端获取被试者的信息，并发送指令到服务器；服务器接收开始测评指令，并发送到主机客户端；主机客户端接收开始测评指令，并完成测评得到测评数据，将测评数据以数据流的形式传输到服务器；云端算法服务器对测评数据进行分析，得到分析结果；服务器将分析结果返回到控制客户端，控制客户端根据分析结果判断是否发送干预指令；数据服务器对分析结果进行保存和管理。本发明能够提高算法运行的效率和安全性；避免因网络流量波动和服务器故障使范式测评图像数据流和文本数据流的传输中断；对眼动注视轨迹数据进行客观、高效、准确地采集。
-
公开(公告)号：CN114209324A
公开(公告)日：2022-03-22
申请号：CN202210154330.0
申请日：2022-02-21
Applicant: 北京科技大学
Abstract: 本发明提供了一种基于图像视觉认知的心理状态数据分析方法及VR系统，涉及心理评估系统技术领域。包括：实验范式呈现模块向测试者呈现测试图像；VR端数据采集模块采集测试者的原始眼动数据和瞳孔数据；心理状态数据分析模块将VR端数据采集模块采集到的原始眼动数据和瞳孔数据分别进行预处理和分析；多终端PC管理模块对实验范式呈现模块、VR端数据采集模块以及心理状态数据分析模块进行管控。本发明提出基于注意偏向理论和瞳孔反应理论的图像自由观看范式和任务驱动范式；在轻量级VR设备上搭建了具有沉浸感和交互性的基于图像的心理测评系统，实现多台设备同时进行测试。
-
公开(公告)号：CN113283402B
公开(公告)日：2021-11-05
申请号：CN202110822170.8
申请日：2021-07-21
Abstract: 本申请公开了一种差分式二维注视点检测方法及其装置，属于视觉分析技术领域。方法包括：采集测试者注视预设校准点时的面部图像以及注视待测点的面部图像；根据特征抽取神经网络、采集的校准数据，计算得到测试者的校准图像特征以及待检测图像特征；根据校准图像特征、待检测特征得到测试者注视点在屏幕上的坐标；对多次校准得到的预测结果进行加权求和，由此，得到测试者的注视点序列，从而快速、准确地挖掘出其感兴趣的区域。
-
公开(公告)号：CN119622638A
公开(公告)日：2025-03-14
申请号：CN202411772031.9
申请日：2024-12-04
Applicant: 北京科技大学
IPC: G06F18/25 , G06N3/042 , G06N3/0442 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/40 , G06V10/80 , G06V10/82 , G06V20/40 , G06F18/213
Abstract: 本发明提供一种基于预训练和图关系变换网络多模态人格预测方法及装置，涉及情感计算技术领域。该方法包括：获取输入视频，输入到预处理模块，得到视觉模态信息数据、文本模态信息数据以及音频模态信息数据，分别输入到特征提取模块，得到视觉序列特征、音频序列特征以及文本序列特征，分别输入到图关系变换网络，得到视觉特征、音频特征以及文本特征，将视觉特征、视觉‑音频关联特征以及视觉‑文本关联特征输入到多模态注意特征融合模块，得到融合特征，并将该融合特征输入到预测头模块，得到多模态人格预测结果。本发明提出了一种适应于学习和融合模态内和模态间特征的动态人格预测方法。
-
Patent Agency Ranking
公开(公告)号：CN118709094B
公开(公告)日：2024-11-15
申请号：CN202411193418.9
申请日：2024-08-28
Applicant: 北京科技大学
IPC: G06F18/2431 , G06V10/44 , G06V40/16 , G06V40/20 , G06F18/25 , G10L25/63 , G10L25/30 , G10L25/03
Abstract: 本发明提供一种基于多模态特征和层次特征融合的情绪识别方法及系统，涉及人工智能技术领域。所述方法包括：采集情绪视频，并转换为包含多个图像的图像序列；对图像序列中的人脸进行检测，并提取情绪视频中的音频和文本，获取视觉模态特征、音频模态特征和文本模态特征；其中，视觉模态特征包括：视觉人脸属性特征、视觉面部动作特征、时空人体姿态特征和场景情绪词关联特征，音频模态特征包括多源音频特征，文本模态特征包括基于CLIP的文本特征；基于层次特征融合策略得到多模态融合特征；将多模态融合特征输入多层感知机预测模型，得到情绪识别类别。本发明能够提高情绪识别系统的鲁棒性和泛化性。
-
公开(公告)号：CN118228194B
公开(公告)日：2024-11-08
申请号：CN202410393379.0
申请日：2024-04-02
Applicant: 北京科技大学 , 青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心)
IPC: G06F18/25 , G06F18/241 , G06F18/2431 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/082
Abstract: 本发明公开了一种融合时空图注意力网络的多模态人格预测方法和系统，涉及情感计算技术领域，包括：基于卷积神经网络模型，提取目标视频中的场景时空外观特征、人脸时空外观特征和音频特征；基于图注意力网络模型，提取目标视频中的人脸时空几何结构特征；基于预训练语言模型，提取目标视频的文本特征；将场景时空外观特征、人脸时空外观特征、人脸时空几何结构特征、音频特征和文本特征进行特征融合，得到多模态融合特征；基于多模态融合特征和训练好的人格预测模型，对被试者进行人格预测，得到被试者的人格特质分数。本发明缓解了现有技术中存在的对人脸的特征为挖掘不细致、模态间权重分配不合理的技术问题。
-
公开(公告)号：CN116630957A
公开(公告)日：2023-08-22
申请号：CN202310552336.8
申请日：2023-05-16
Applicant: 北京科技大学
IPC: G06V20/64 , G06V10/774 , G06V10/778
Abstract: 本发明公开了一种基于伪标签大小的无监督领域自适应目标检测方法及系统，该方法包括：S1，获取带标注的源域点云数据和无标注的目标域点云数据；利用源域点云数据进行训练，得到三维目标检测模型；S2，利用检测模型对目标域点云数据进行预测，得到伪标签；S3，计算伪标签中的尺寸统计大小；S4，利用伪标签中的尺寸统计大小对源域点云数据进行放缩增强操作；再利用增强后的源域点云数据再次训练模型；S5，迭代执行S2～S4，直至模型收敛；S6，利用最终检测模型对待测点云数据进行检测。本发明无需任何目标域的统计信息，可有效解决跨领域尺寸不匹配问题，并具有更好的性能和更广泛的适用性。
-
公开(公告)号：CN115731542A
公开(公告)日：2023-03-03
申请号：CN202211435079.1
申请日：2022-11-16
Applicant: 北京科技大学
Abstract: 本发明涉及一种多模态弱监督三维目标检测方法、系统及设备。该方法包括：拍摄多张2D RGB图像，基于2D RGB图像上的二维框标注生成三维视锥；在三维视锥中，滤除车辆激光雷达传感器采集的三维点云中的地面点，依靠种子点区域生长方法，确定三维点数目最多的区域；基于密度的三维参数估计方法，根据三维点数目最多的区域生成物体的三维伪标注框；以三维伪标注框为目标，根据2D RGB图像以及三维点云训练多模态超像素双分支网络；将当前帧的2D RGB图像以及当前场景的三维点云输入至训练后的多模态超像素双分支网络中，生成整体三维点云。本发明能缓解二维和三维模态的分辨率不一致问题，充分利用多模态信息识别和定位三维物体。
-
公开(公告)号：CN114974517B
公开(公告)日：2022-11-01
申请号：CN202210913181.1
申请日：2022-08-01
Applicant: 北京科技大学
IPC: G16H20/70 , G06F3/0482 , A63F13/52
Abstract: 本发明公开了一种基于模拟场景与交互任务设计的社交焦虑干预方法及系统，涉及心理干预技术领域。包括：主机客户端提供多种心理学实验范式干预流程；采集被试者的用户以及过程数据上传至控制客户端；通过控制客户端查询干预分析报告；控制客户端用于获取并管理用户以及过程数据，将用户以及过程数据进行转换上传至数据服务器；数据服务器用于对转换后的用户以及过程数据进行分析得到干预分析报告，发送给控制客户端。本发明根据正念冥想理论、认知行为疗法和注意偏向理论提出了基于虚拟现实的干预范式，可缓解具有社交焦虑障碍、焦虑抑郁的人群。本发明具有自主性、普适性，操作简单而且交互性强、沉浸感深、想象性丰富、趣味十足等优点。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.023 seconds)
