本发明提出一种骚扰电话识别方法及其装置，其中骚扰电话识别方法，可以包括：用户将接收到的骚扰电话号码标记为骚扰电话；提取标记的骚扰电话的特征，建立分类模型，并且使用分类模型判定待识别的主叫号码是否是骚扰电话；在用户标记与分类模型同时判定待识别的主叫号码是骚扰电话时，则主叫号码被判定为骚扰电话号码；在用户标记或者分类模型判定待识别的主叫号码为骚扰电话时，则主叫号码被判定为疑似骚扰电话号码；在用户标记和分类模型均判定待识别的主叫号码为正常电话号码时，则主叫号码被判定为正常电话号码；将骚扰电话号码、疑似骚扰电话号码、正常电话号码以及对应的号码类别存储在数据库中。