公开(公告)号：CN114537409B

公开(公告)日：2022-11-11

申请号：CN202210147956.9

申请日：2022-02-17

Applicant: 上海交通大学

Inventor： 冯捷 ,  张峻玮 ,  孙雪雯 ,  张兴国 ,  董占勋 ,  李亚鸿

IPC: B60W40/08 ,  B60W50/08 ,  G06V20/59 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于多模态分析的多感官车载交互方法及系统，包括：通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据；实时解析所述驾驶员的多模态源数据，提取多模态源数据中的特征向量；将多个特征向量进行拼接并转换到同一维度，得到处理后数据；将处理后数据输入BP神经网络进行训练，判定驾驶员的实时状态；根据驾驶员的实时状态，主动为驾驶员提供相应的交互服务。本发明通过采用多模态信息处理手段，可以综合判断驾驶员实时状态并提供主动式交互服务，提高理解用户情绪、意图的准确度；通过BP神经网络训练模型，实现车载交互系统的自我优化。

公开(公告)号：CN114537409A

公开(公告)日：2022-05-27

申请号：CN202210147956.9

申请日：2022-02-17

Applicant: 上海交通大学

Inventor： 冯捷 ,  张峻玮 ,  孙雪雯 ,  张兴国 ,  董占勋 ,  李亚鸿

IPC: B60W40/08 ,  B60W50/08 ,  G06V20/59 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于多模态分析的多感官车载交互方法及系统，包括：通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据；实时解析所述驾驶员的多模态源数据，提取多模态源数据中的特征向量；将多个特征向量进行拼接并转换到同一维度，得到处理后数据；将处理后数据输入BP神经网络进行训练，判定驾驶员的实时状态；根据驾驶员的实时状态，主动为驾驶员提供相应的交互服务。本发明通过采用多模态信息处理手段，可以综合判断驾驶员实时状态并提供主动式交互服务，提高理解用户情绪、意图的准确度；通过BP神经网络训练模型，实现车载交互系统的自我优化。