-
公开(公告)号：CN115374252A
公开(公告)日：2022-11-22
申请号：CN202211291117.0
申请日：2022-10-21
Applicant: 北京语言大学
IPC: G06F16/33 , G06F16/35 , G06F40/247 , G06F40/30 , G06K9/62
Abstract: 本发明涉及文本分级技术领域，特别是指一种基于原生Bert架构的文本分级方法及装置，方法包括：在原生Bert模型的词表中，增加一个新的特殊标记[LEVEL]；获取初始训练样本并进行预处理，预处理后的训练样本的序列形式为[CLS]W1W2W3...Wn[SEP]K，其中，W1W2W3...Wn表示训练样本的文本，K表示训练样本的特殊标记[LEVEL]的参数值，即训练样本对应的复杂度等级；基于训练样本，对预训练的原生Bert模型进行fine‑tuning训练，得到训练好的复杂度分级模型；对初始待分级文本进行预处理，将预处理后的待分级文本输入到训练好的复杂度分级模型中，得到初始待分级文本对应的复杂度等级。采用本发明，可以更加简洁的将Bert模型应用到文本分级任务中，减少参数量，降低模型复杂度。
-
公开(公告)号：CN114996464B
公开(公告)日：2022-10-21
申请号：CN202210845265.6
申请日：2022-07-19
Applicant: 北京语言大学
Abstract: 本发明涉及文本分级技术领域，特别是指一种利用有序信息的文本分级方法及装置。方法包括：根据预设的文本等级的数量，确定初始二分类模型的数量；根据预设的文本等级以及初始样本，确定每个初始二分类模型对应的正样本以及负样本；根据每个初始二分类模型对应的正样本数据以及负样本数据，训练对应的初始二分类模型，得到训练完毕的多个二分类模型；将待分级文本分别输入到多个二分类模型中，得到每个二分类模型输出的二分类概率；根据每个二分类模型输出的二分类概率，得到待分级文本对应的文本等级。采用本发明，通过将一个多分类问题转化为多个二分类问题，有效利用了文本等级固有的有序性信息，提升了文本分级的准确率。
-
公开(公告)号：CN114996464A
公开(公告)日：2022-09-02
申请号：CN202210845265.6
申请日：2022-07-19
Applicant: 北京语言大学
Abstract: 本发明涉及文本分级技术领域，特别是指一种利用有序信息的文本分级方法及装置。方法包括：根据预设的文本等级的数量，确定初始二分类模型的数量；根据预设的文本等级以及初始样本，确定每个初始二分类模型对应的正样本以及负样本；根据每个初始二分类模型对应的正样本数据以及负样本数据，训练对应的初始二分类模型，得到训练完毕的多个二分类模型；将待分级文本分别输入到多个二分类模型中，得到每个二分类模型输出的二分类概率；根据每个二分类模型输出的二分类概率，得到待分级文本对应的文本等级。采用本发明，通过将一个多分类问题转化为多个二分类问题，有效利用了文本等级固有的有序性信息，提升了文本分级的准确率。
-
公开(公告)号：CN115374252B
公开(公告)日：2022-12-23
申请号：CN202211291117.0
申请日：2022-10-21
Applicant: 北京语言大学
IPC: G06F16/33 , G06F16/35 , G06F40/247 , G06F40/30 , G06K9/62
Abstract: 本发明涉及文本分级技术领域，特别是指一种基于原生Bert架构的文本分级方法及装置，方法包括：在原生Bert模型的词表中，增加一个新的特殊标记[LEVEL]；获取初始训练样本并进行预处理，预处理后的训练样本的序列形式为[CLS]W1W2W3...Wn[SEP]K，其中，W1W2W3...Wn表示训练样本的文本，K表示训练样本的特殊标记[LEVEL]的参数值，即训练样本对应的复杂度等级；基于训练样本，对预训练的原生Bert模型进行fine‑tuning训练，得到训练好的复杂度分级模型；对初始待分级文本进行预处理，将预处理后的待分级文本输入到训练好的复杂度分级模型中，得到初始待分级文本对应的复杂度等级。采用本发明，可以更加简洁的将Bert模型应用到文本分级任务中，减少参数量，降低模型复杂度。
-
-
-
Search Results
4
records
(took 0.017 seconds)
