本发明提供了一种基于多线索融合的动物行为识别方法，包括：构建行为数据集；对RGB帧提取动物运动的光流图像；将RGB帧和光流帧输入到多线索融合网络构建的动物行为识别模型中对动物行为进行识别，包括：用双流网络对RGB帧和光流帧进行特征提取得到动物行为的表观特征和运动特征；将上述特征进行多线索特征交换，弃掉对最终结果失去影响的特征图；将MFSM模块的双流特征输入到AFFM模块，对表观特征和光流特征进行自适应特征融合，得到运动信息增强的表观特征；将融合后的特征输入到主干网络中，通过分类器得到最终的行为预测结果。该方法可以可靠、自动化、高效的完成对动物行为识别，很大程度上解决人工标注所带来的问题。