一种低资源场景下基于提示学习的关系抽取方法

    公开(公告)号:CN118297065B

    公开(公告)日:2025-03-18

    申请号:CN202410237191.7

    申请日:2024-03-01

    Abstract: 本发明公开了一种低资源场景下基于提示学习的关系抽取方法,包括以下步骤:1)将复杂的关系拆解为多个视角的联合表示,所述视角包括:人物、地点、动作、主被动关系;2)利用虚拟词表示拆解获得的各个视角关系;2.1)对各个视角的表示关系进行表示;2.2)对各个视角的表示关系进行采样;2.3)使用掩码预训练模型,在其词表中为每个关系r创建m个不同的关系虚拟词,每个关系虚拟词都关注着一个关系的不同视角;3)根据各个视角关系的表示以及每个视角关系表示的生成概率,获得最终的复杂的关系表示。本发明提出利用多视角解耦学习的关系抽取方式,将复杂的关系解耦成多个视角的联合分布,可有效缓解低资源场景数据不充足的问题。

    基于大模型的位置去偏的长期对话方法

    公开(公告)号:CN118798338A

    公开(公告)日:2024-10-18

    申请号:CN202410925347.0

    申请日:2024-07-11

    Abstract: 本发明公开了一种基于大模型的位置去偏的长期对话方法,包括以下步骤:1)对于输入的对话D,对大模型使用位置嵌入的注意力进行调整,提取对话中的因果相关话语;2)对大模型进行微调,将微调过程中的损失分为两部分:预测损失和因果感知损失;3)使用经过步骤1)和步骤2)调整后的大模型作为长期对话系统的基座,使用时,系统指令和对话历史D连接起来并输入模型用以生成回复R。本发明通过对大模型进行微调,使模型不再受到位置偏见的影响,使用上述微调后的大模型作为长期对话系统的基座用以生成回复,增强其因果感知能力,提高模型的性能。

    基于规则时序有效性建模的时序知识图谱外推推理方法

    公开(公告)号:CN118734973A

    公开(公告)日:2024-10-01

    申请号:CN202410864370.3

    申请日:2024-06-30

    Abstract: 本发明公开了一种基于规则时序有效性建模的时序知识图谱外推推理方法,包括以下步骤:1)将待推理的知识图谱转换为待推理的时序知识图谱;2)基于时间的先后顺序,将时序知识图谱划分为多个快照;3)通过随机游走采样和标准置信度计算获得初始候选规则集,并根据置信度和支持度启发式指标过滤低质量的路径规则,每一条被实例化的规则路径的起始时间被称为规则时间;4)建立基于规则时序的知识图谱推理模型,根据历史信息预测未来事件的发生。本发明提出了一种基于规则时序有效性建模的时序知识图谱外推推理方法,该方法通过对规则的时序模式建模提供了更可靠和更准确的推理结果。

    一种基于个性扩展的对话生成方法

    公开(公告)号:CN116028616A

    公开(公告)日:2023-04-28

    申请号:CN202211288538.8

    申请日:2022-10-20

    Abstract: 本发明公开了一种基于个性扩展的对话生成方法,该方法包括以下步骤:1)根据用户查询和预定义个性信息进行对话个性扩展;2)基于先后验网络构建个性集合的重要性分布模型,获得个性重要性分布;3)根据基于后验网络预测的个性重要性分布,使用加权后的个性信息进行响应解码;4)响应推断,生成查询的对话文本。本发明提出的方法基于自然语言推断和先后验网络,能够更加准确地扩展出符合预定义个性的新个性信息,并且更加有效地学习到响应生成过程中个性集合的利用方式,从而提高对话生成的个性一致性。

    基于陈述句提示微调的视觉问答方法

    公开(公告)号:CN114913341A

    公开(公告)日:2022-08-16

    申请号:CN202210588207.X

    申请日:2022-05-26

    Abstract: 本发明公开了一种基于陈述句提示微调的视觉问答方法,包括以下步骤:1)对于给定的视觉问答输入(I,Q),将视觉问答中的问题Q转化为陈述句形式;2)将视觉问答任务转化为答案填词任务;3)利用步骤2)中填词任务预测的正确答案中的top‑K答案来分别与图像进行匹配,选择出与图像最相符的词汇来作为图文匹配任务的预测答案;4)结合答案填词和图文匹配任务的预测结果得到答案。本发明提出的方法能够将下游视觉问答任务转化为上游预训练任务形式,从而提高预训练模型泛化到下游视觉问答任务的迁移能力,提升答案预测准确性。

    一种基于位置感知自注意力机制的序列标注模型与标注方法

    公开(公告)号:CN110334339B

    公开(公告)日:2021-04-13

    申请号:CN201910362637.8

    申请日:2019-04-30

    Abstract: 本发明公开了一种基于位置感知自注意力机制的序列标注模型与标注方法,该序列标注模型将自注意上下文融合层作为BiLSTM‑CRF模型的扩展,构造新的序列标注模型;该模型包括自注意上下文融合层和BiLSTM组成的编码器,以及作为解码器的CRF层;所述自注意上下文融合层,用于以词的特征向量表示序列作为输入,通过位置感知自注意力机制建立结合位置信息后序列中各词语与设定特定词语间的关联,得到序列中所有词语特征向量表示的加权和作为该特定词的输出特征。本发明提出的方法通过引入自注意上下文融合层,能够充分提取单词之间的潜在关系,从而可以在Bi‑LSTM的基础上提供互补的上下文信息。

    基于距离和角度约束的知识图谱表示学习方法

    公开(公告)号:CN112528047A

    公开(公告)日:2021-03-19

    申请号:CN202011586246.3

    申请日:2020-12-29

    Abstract: 本发明公开了一种基于距离和角度约束的知识图谱表示学习方法,包括以下步骤:1)根据知识图谱中所有关系类型,构建每种关系ri的旋转矩阵Ri;2)通过旋转矩阵将特定三元组(h,r,t)中的头实体旋转至尾实体,构建距离函数来衡量旋转后的头实体和尾实体之间的距离差异;3)通过角度将头实体变换至尾实体,构建角度函数衡量两者之间的角度差异;4)根据距离函数和角度函数构建评分函数;5)根据评分函数构建损失函数,通过最小化损失函数来优化模型,学习知识图谱中实体、关系的向量化表示。本发明在距离约束的基础上,同时增加角度约束,有效提高知识图谱表示性能和链接预测效果。

Patent Agency Ranking