本发明公开了一种基于孪生网络的快速视频目标跟踪方法，属于模式识别和智能信息处理领域。该方法利用残差连接和通道注意力机制改进SiamFC孪生网络模型的模板分支，得到SiamRCCA模型，并设定相似性响应图的损失掩码Maskn×n，并在离线训练SiamRCCA模型时根据Maskn×n提高难分样本损失值的权重，增强了对相似语义目标的辨别力，解决了跟踪过程中目标形变、相似物体干扰等复杂情况下容易跟踪漂移或丢失的问题，且SiamRCCA模型为非对称结构，即残差连接和注意力模块均只应用于模板分支即对首帧目标的特征提取阶段，避免了在双分支网络中简单地增加网络层而影响跟踪速度，同时充分利用第一帧目标信息，提升了模型的跟踪精度。