本发明实施例提供一种分类标签的构建方法及装置，所述方法包括：获取用于训练预设模型的样本图片；所述预设模型是用于识别原始图片的初筛网络模型；所述样本图片为拍摄物外表面包含异常特征的第二目标图片；根据所有样本图片的图片背景对所有样本图片进行分类；所述图片背景包括部分拍摄缺陷对应的图片背景、和/或附着有覆盖物的图片背景；将分类后的样本图片与每类第一目标图片分别进行比照，并根据比照结果对分类后的样本图片进行再次分类，并为再次分类的每类样本图片构建一一对应的标签。所述装置执行上述方法。本发明实施例提供的分类标签的构建方法及装置，能够提高样本图片的分类标签构建的合理性和准确度。