一种基于关键词特征嵌入语言模型的意图识别方法及系统

    公开(公告)号:CN112989839A

    公开(公告)日:2021-06-18

    申请号:CN201911309397.1

    申请日:2019-12-18

    Abstract: 本发明属于自然语言处理技术领域,具体涉及一种基于关键词特征嵌入语言模型的意图识别方法,包括:采用前后向最大分词算法,对提取的有效文本的语言信息进行分词,获得不同类别的分词结果;针对获得的不同类别的分词结果,获得不同类别的分词结果对应的候选意图相关的关键词列表;剔除每一种类别的分词结果对应的候选意图相关的关键词列表中的通用高频词和领域无关词,获得每一种类别的分词结果对应的最终关键词表,进而获得不同的关键词特征向量;将获得的每一个关键词特征向量嵌入至预先训练好的语言模型,获得带有关键词特征的有效文本的语音信息;并对其进行编码和分类,获得该有效文本的语言信息的意图识别结果。

    语言模型的训练方法、NLP任务处理方法及装置

    公开(公告)号:CN113420123B

    公开(公告)日:2025-01-14

    申请号:CN202110705729.9

    申请日:2021-06-24

    Abstract: 本申请提供了一种语言模型的训练方法、NLP任务处理方法及装置,包括:获取训练样本集;训练样本集包括新任务的第一任务标签、新任务的多个第一训练文本和每个第一训练文本的第一文本标签、至少一个旧任务中每个旧任务的第二任务标签;复制语言模型得到教师语言模型,将语言模型作为学生语言模型;将第二任务标签输入至教师语言模型中,生成旧任务对应的多个第二训练文本和每个第二训练文本的第二文本标签;将第一任务标签、第二任务标签、第一训练文本和第二训练文本输入至学生语言模型中,生成第一预测文本、第一预测结果、第二预测文本和第二预测结果,对学生语言模型进行训练。根据本申请实施例,能够解决相关技术中存储资源占用大的问题。

    语言模型的训练方法、NLP任务处理方法及装置

    公开(公告)号:CN113420123A

    公开(公告)日:2021-09-21

    申请号:CN202110705729.9

    申请日:2021-06-24

    Abstract: 本申请提供了一种语言模型的训练方法、NLP任务处理方法及装置,包括:获取训练样本集;训练样本集包括新任务的第一任务标签、新任务的多个第一训练文本和每个第一训练文本的第一文本标签、至少一个旧任务中每个旧任务的第二任务标签;复制语言模型得到教师语言模型,将语言模型作为学生语言模型;将第二任务标签输入至教师语言模型中,生成旧任务对应的多个第二训练文本和每个第二训练文本的第二文本标签;将第一任务标签、第二任务标签、第一训练文本和第二训练文本输入至学生语言模型中,生成第一预测文本、第一预测结果、第二预测文本和第二预测结果,对学生语言模型进行训练。根据本申请实施例,能够解决相关技术中存储资源占用大的问题。

Patent Agency Ranking