公开(公告)号：CN119007925A

公开(公告)日：2024-11-22

申请号：CN202410806131.2

申请日：2024-06-21

Applicant: 南京信息工程大学

Inventor： 王钇水 ,  张一凡 ,  潘志庚 ,  郎旭

IPC: G16H20/30 ,  G06F3/01 ,  G06V40/20 ,  G06V10/764

Abstract: 本发明公开了一种基于动作识别与虚拟现实的康复训练方法及系统，包括：基于Unity开发平台构建虚拟康复场景；使用Leap Motion设备捕获用户的手部动作数据，基于动作识别算法对所述手部动作数据进行动作识别，根据动作识别的结果在虚拟康复场景模拟识别的动作；比较所述识别的动作和预设的康复动作，确定动作相似度；根据动作相似度确定康复效果，并基于所述康复效果生成针对所述用户的反馈和建议。优点：不仅可以提高患者的参与度，还可以通过提供社交互动的机会，帮助减轻他们的孤独感和压力，对提高康复效果和患者的生活质量产生积极影响，提高康复行业的服务水平。

公开(公告)号：CN118538362B

公开(公告)日：2024-12-27

申请号：CN202410415119.9

申请日：2024-04-08

Applicant: 南京信息工程大学

Inventor： 张一凡 ,  潘志庚 ,  郎旭

IPC: G16H20/30 ,  G06F40/30 ,  G06V40/20 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明公开了一种基于体感交互式虚拟康复训练方法及系统，属于人工智能技术领域，应用于康复训练系统；采集用户跟随NPC引导行为动作后的动作信息和语音信息；根据所述动作信息进行用户运动姿态模拟；根据预先设置的康复动作的要求和标准以及用户的动作信息和语音信息计算用户的康复动作的得分，根据用户的康复动作的得分，向用户提供相应的语音和图形反馈；根据用户运动姿态模拟的数据以及用户的康复动作的得分进行用户的康复进程和效果分析，输出康复报告。优点：能够利用虚拟现实技术和人体动作识别技术，为用户提供一个沉浸式的康复训练环境，同时能够实时监测和评估用户的康复动作，给出反馈和建议，增加用户的康复效率和体验。

公开(公告)号：CN118538362A

公开(公告)日：2024-08-23

申请号：CN202410415119.9

申请日：2024-04-08

Applicant: 南京信息工程大学

Inventor： 张一凡 ,  潘志庚 ,  郎旭

IPC: G16H20/30 ,  G06F40/30 ,  G06V40/20 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明公开了一种基于体感交互式虚拟康复训练方法及系统，属于人工智能技术领域，应用于康复训练系统；采集用户跟随NPC引导行为动作后的动作信息和语音信息；根据所述动作信息进行用户运动姿态模拟；根据预先设置的康复动作的要求和标准以及用户的动作信息和语音信息计算用户的康复动作的得分，根据用户的康复动作的得分，向用户提供相应的语音和图形反馈；根据用户运动姿态模拟的数据以及用户的康复动作的得分进行用户的康复进程和效果分析，输出康复报告。优点：能够利用虚拟现实技术和人体动作识别技术，为用户提供一个沉浸式的康复训练环境，同时能够实时监测和评估用户的康复动作，给出反馈和建议，增加用户的康复效率和体验。

公开(公告)号：CN119763175A

公开(公告)日：2025-04-04

申请号：CN202411964108.2

申请日：2024-12-30

Applicant: 南京信息工程大学

Inventor： 徐澜淇 ,  张一凡 ,  王少雄 ,  吕淑晓 ,  高春轩 ,  饶芷诺

IPC: G06V40/16 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明公开了一种图像数据处理技术领域的多模态情绪识别方法以及心理干预系统，旨在解决现有技术中单一模态的识别无法全面反映个体的真实情绪状态的问题。其包括根据视频片段处理得到连续帧图像信息；检测连续帧图像信息对应的人脸特征点序列；进行数据增强，得到第一特征向量；加权处理，得到第二特征向量；通过表情与特征点联合模块进行联合处理，得到图像特征向量；提取音频特征向量；通过视听张量积融合模块进行融合处理，得到最终的融合特征向量，利用基于Transformer架构的多模态融合情绪识别网络模型输出目标人物的情绪识别结果。本发明不局限于单一静态时刻，而是能够实时追踪和捕捉情绪动态变化，增强对情绪动态的响应能力。

公开(公告)号：CN119668405A

公开(公告)日：2025-03-21

申请号：CN202411735094.7

申请日：2024-11-29

Applicant: 南京信息工程大学

Inventor： 董文豪 ,  张一凡 ,  潘志庚 ,  郎旭

IPC: G06F3/01 ,  H04L67/52 ,  H04L69/163 ,  H04L69/16

Abstract: 本发明公开了一种基于追踪器定位共享的虚拟现实控制方法，通过TCP网口获取目标用户穿戴的虚拟现实追踪器回传的定位数据；对所述定位数据进行解码、解析、滤波、校准步骤，提取用户的精确位置和姿态信息，将所述用户的精确位置和姿态信息存储到同步队列和共享内存的数据结构，所述同步队列和共享内存的数据结构；将用户的精确位置和姿态信息发送到Unity场景中，更新虚拟环境中的用户位置和动作。优点：通过搭建的Unity实时渲染平台和开发优化的虚拟现实追踪器算法，并且通过TCP网口发送虚拟现实追踪器获得的定位数据到主机地址，并在主机上完成数据的接收和分类处理，实现多个追踪器的定位共享，从而提高用户的虚拟现实体验。

公开(公告)号：CN118380096A

公开(公告)日：2024-07-23

申请号：CN202410535744.7

申请日：2024-04-30

Applicant: 南京信息工程大学

Inventor： 张一凡 ,  潘志庚 ,  郎旭 ,  商修凯

IPC: G16H20/00 ,  G06N20/00 ,  G16H50/30

Abstract: 本发明公开了一种基于算法追踪与虚拟现实的康复训练交互方法及装置，获取用户手部的图像信息，确定完整的连续帧图像信息；使用MediaPipe手部跟踪代码，从用户完整的连续帧图像信息中捕捉用户的手部信息；将手部信息在Unity实时渲染平台中进行动作显示；在Unity实时渲染平台中进行动作显示的同时，确定用户手部动作的完成精度和完成度；计算用户的康复动作得分；根据用户的康复动作得分向用户提供相应的语音和图形反馈。优点：使得康复训练正变得更加个性化和智能化；能够根据患者的具体情况和反应，实时调整训练计划。这种个性化的训练方法有助于确保每位患者都能获得最适合自己的治疗，从而最大限度地提高康复效果。