公开(公告)号：CN116204643A

公开(公告)日：2023-06-02

申请号：CN202310217721.7

申请日：2023-03-08

Applicant: 科大国创云网科技有限公司

Inventor： 李飞 ,  王颜颜 ,  陈政伊 ,  冯强中 ,  范文斌 ,  周源 ,  黄友志 ,  丁常坤 ,  程磊

IPC: G06F16/35 ,  G06F18/24 ,  G06N3/08 ,  G06N3/0455

Abstract: 本发明公开了一种基于多任务学习知识增强的级联标签分类方法，属于自然语言处理技术领域，包括以下步骤：S1：语义表征；S2：多任务分类。本发明将预训练模型得到的上下文语义表征和义原知识表征相融合，同时加入了多任务学习的方法使得模型能够迭代训练，学习到不同标签之间的关系，提高了通用预训练语言模型在运营商投诉工单分类任务上的准确率。

公开(公告)号：CN116881457A

公开(公告)日：2023-10-13

申请号：CN202310864622.8

申请日：2023-07-13

Applicant: 科大国创云网科技有限公司

Inventor： 王颜颜 ,  黄友志 ,  陈政伊 ,  许银

IPC: G06F16/35 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0895 ,  G06N5/02

Abstract: 本发明公开了一种基于知识对比增强提示的小样本文本分类方法，属于自然语言处理技术领域，包括以下步骤：S1：初始化连续提示；S2：知识模板生成；S3：联合训练优化；S4：掩码预测。本发明首先利用BiLSTM初始化一个可学习且具有关联性的连续提示向量，然后将预训练语言模型作为知识库，自动生成一组正、负提示模板，在此基础上结合对比学习和掩码语言模型进行联合训练，最终得到有效的连续提示嵌入进行准确的掩码预测，并提供了一种可以自动构造连续提示模板的有效方法，并在14个数据集上进行广泛的实验，结果表明该方法的准确率较最优对比模型平均提升了3.5％以上，解决小样本环境下连续提示对初始参数敏感且容易过拟合的两大问题。

公开(公告)号：CN116860928A

公开(公告)日：2023-10-10

申请号：CN202310704280.3

申请日：2023-06-14

Applicant: 科大国创云网科技有限公司

Inventor： 赵龙 ,  王颜颜 ,  许银 ,  黄友志 ,  陈政伊

IPC: G06F16/332 ,  G06F16/36 ,  G06F16/33 ,  G06F16/35 ,  G06N5/025 ,  G06N5/04 ,  G06F40/30

Abstract: 本发明公开了一种基于关系路径推理的多跳知识图谱问答方法及系统，属于知识图谱和自然语言处理技术领域，包括以下步骤：S1：知识图谱嵌入；S2：答案过滤；S3：答案选择。本发明首先将知识图谱中的实体和关系嵌入得到低维向量表示，然后通过评分函数对所有除主题实体以外的实体进行打分，并筛选出若干个候选实体，最后通过对比问题和关系路径的语义表征的相似度选出最终答案；可以在包含不完整的知识图谱以及复杂的多跳问答任务中达到较高的准确率，并且在公开数据集MetaQA实验中，Hits@1准确率基本优于其他现有方法。