本发明提供了一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块。该系统使用深度卷积神经网络进行物体、人体检测，具有较强的泛化能力，对驾驶室内的物体和驾驶员的识别非常准确。同时动作模板经过离线数据的分析与建模，非常精准地捕捉了动作的特定规律和运动范围，从而可以精确地匹配驾驶员的动作。