一种基于原生Bert架构的文本分级方法及装置

    公开(公告)号:CN115374252A

    公开(公告)日:2022-11-22

    申请号:CN202211291117.0

    申请日:2022-10-21

    Abstract: 本发明涉及文本分级技术领域,特别是指一种基于原生Bert架构的文本分级方法及装置,方法包括:在原生Bert模型的词表中,增加一个新的特殊标记[LEVEL];获取初始训练样本并进行预处理,预处理后的训练样本的序列形式为[CLS]W1W2W3...Wn[SEP]K,其中,W1W2W3...Wn表示训练样本的文本,K表示训练样本的特殊标记[LEVEL]的参数值,即训练样本对应的复杂度等级;基于训练样本,对预训练的原生Bert模型进行fine‑tuning训练,得到训练好的复杂度分级模型;对初始待分级文本进行预处理,将预处理后的待分级文本输入到训练好的复杂度分级模型中,得到初始待分级文本对应的复杂度等级。采用本发明,可以更加简洁的将Bert模型应用到文本分级任务中,减少参数量,降低模型复杂度。

    一种基于原生Bert架构的文本分级方法及装置

    公开(公告)号:CN115374252B

    公开(公告)日:2022-12-23

    申请号:CN202211291117.0

    申请日:2022-10-21

    Abstract: 本发明涉及文本分级技术领域,特别是指一种基于原生Bert架构的文本分级方法及装置,方法包括:在原生Bert模型的词表中,增加一个新的特殊标记[LEVEL];获取初始训练样本并进行预处理,预处理后的训练样本的序列形式为[CLS]W1W2W3...Wn[SEP]K,其中,W1W2W3...Wn表示训练样本的文本,K表示训练样本的特殊标记[LEVEL]的参数值,即训练样本对应的复杂度等级;基于训练样本,对预训练的原生Bert模型进行fine‑tuning训练,得到训练好的复杂度分级模型;对初始待分级文本进行预处理,将预处理后的待分级文本输入到训练好的复杂度分级模型中,得到初始待分级文本对应的复杂度等级。采用本发明,可以更加简洁的将Bert模型应用到文本分级任务中,减少参数量,降低模型复杂度。

Patent Agency Ranking