-
公开(公告)号：CN113761122B
公开(公告)日：2025-03-07
申请号：CN202110546916.7
申请日：2021-05-19
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F16/334 , G06F16/335 , G06F16/36 , G06F16/353 , G06F40/30
Abstract: 本申请实施例公开了一种事件抽取方法、相关装置、设备及存储介质，用于将句级自然语言转化为结点和边，再将结点和边转化为语义特征来进行事件抽取，能够保证获取事件的精度。本申请实施例方法包括：获取待处理文本；根据待处理文本生成抽象语义表示，抽象语义表示包括与词语一一对应的结点，以及用于连接结点之间边；对抽象语义和文本表示进行语义编码处理，得到语义嵌入向量，语义嵌入向量用于表示每个词语的与事件之间的语义特征；对抽象语义表示进行图编码处理，得到图嵌入向量，其中，图嵌入向量为用于表示通过边相连接的结点的结构特征；将语义嵌入向量与图嵌入向量进行拼接，得到拼接特征向量；对拼接特征向量进行识别，输出目标事件。
-
公开(公告)号：CN117273185A
公开(公告)日：2023-12-22
申请号：CN202211242596.7
申请日：2022-10-11
Applicant: 腾讯科技(深圳)有限公司 , 清华大学
IPC: G06Q10/04 , G06N3/0455 , G06N3/0895
Abstract: 本申请公开了一种预测模型的训练方法、装置、设备、介质及程序产品，涉及人工智能技术领域。该方法包括：获取第一模型的第一模型参数；获取中间模型的中间模型参数；对第一模型参数和中间模型参数进行线性插值分析，得到至少一个插值点对应的参数构建得到的插值模型；基于目标样本数据在第一模型中的第一预测结果、目标样本数据在插值模型中的第二预测结果和目标样本数据在中间模型中的第三预测结果，对中间模型进行训练，得到第二模型。通过插值分析构建出多个插值模型，增加了中间模型在训练时的监督信号，从而提高了最终训练得到的第二模型在第一任务上的预测准确率。
-
公开(公告)号：CN113761829A
公开(公告)日：2021-12-07
申请号：CN202110457927.8
申请日：2021-04-26
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
Abstract: 本申请提供了一种自然语言处理方法、装置、设备及计算机可读存储介质；涉及人工智能技术领域，方法包括：根据预设词向量表得到双曲词向量序列；对当前双曲词向量进行注意力编码，得到当前双曲词向量对应的注意力编码特征；通过预设洛伦兹变换函数，对注意力编码特征进行线性变换，得到注意力编码特征对应的线性编码特征；预设洛伦兹变换函数通过训练满足预设约束条件的线性变换矩阵模型得到；预设约束条件用于约束线性变换矩阵模型对双曲空间内的输入特征向量处理后得到的输出特征向量位于双曲空间；基于线性编码特征，得到待处理语句对应的目标处理结果。通过本申请，能够提高利用双曲神经网络进行自然语言处理的稳定性和效率。
-
公开(公告)号：CN107871158A
公开(公告)日：2018-04-03
申请号：CN201610852672.4
申请日：2016-09-26
Applicant: 清华大学
CPC classification number: G06N3/0445 , G06F17/2785 , G06N3/08
Abstract: 本发明提供了一种结合序列文本信息的知识图谱表示学习方法及装置，该方法不仅利用了实体之间的三元关系组信息，还充分利用了指定语料库中包含实体的序列文本信息。通过构建能量方程，使得实体在结构化的三元关系组信息和非结构化的文本信息上拥有不同的表示向量。通过最小化基于边际的评价函数，学习基于结构的实体向量、基于文本的实体向量以及关系向量的表示，显著提升了知识图谱的表示学习效果。本发明学习到的知识图谱表示，充分利用了语料库中包含实体的序列文本信息，能够在三元组关系分类和三元组头尾实体预测等任务中得到更高的准确率，具有良好的实用性，提高知识图谱的表示性能。
-
公开(公告)号：CN105630901A
公开(公告)日：2016-06-01
申请号：CN201510961791.9
申请日：2015-12-21
Applicant: 清华大学
IPC: G06F17/30
CPC classification number: G06F17/30604
Abstract: 本发明公开了一种知识图谱表示学习方法，该方法包括：利用实体向量与关系向量之间基于平移的模型，定义关系三元组(head，relation，tail)中实体向量与关系向量之间的相互关联；利用神经网络分类模型，定义特性三元组(entity，attribute，value)中实体向量与特性向量之间的相互关联；通过评价函数将实体向量、关系向量和特性向量关联起来，并最小化评价函数，以学习实体向量、关系向量和特性向量，达到优化目标。采用本发明能够精确表示实体、关系和特性之间的联系。
-
Patent Agency Ranking
公开(公告)号：CN116644791A
公开(公告)日：2023-08-25
申请号：CN202210134765.9
申请日：2022-02-14
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
Abstract: 本申请提供了一种模型参数调整方法、装置、设备及计算机可读存储介质；方法包括：获取训练好的预训练模型和所述训练好的预训练模型的待调整参数的第一参数维度；获取训练好的第一网络模型和预训练好的参数调整向量；其中，参数调整向量的参数个数小于待调整参数的参数个数；基于目标任务和训练好的第一网络模型对预训练好的参数调整向量继续训练，得到训练好的参数调整向量；基于训练好的第一网络模型和训练好的参数调整向量确定待调整参数的调整值；基于待调整参数的调整值对训练好的预训练模型的参数进行调整，得到所述目标任务对应的训练好的目标模型。通过本申请，能够提高模型参数的调整效率。
-
公开(公告)号：CN110852066B
公开(公告)日：2021-06-01
申请号：CN201810827459.7
申请日：2018-07-25
Applicant: 清华大学
IPC: G06F40/211 , G06N5/02 , G06N3/04
Abstract: 本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法及系统，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法及系统能够深层地利用多语言间的互补性，有效提高了多语言场景下的关系抽取结果的准确性。
-
公开(公告)号：CN110852066A
公开(公告)日：2020-02-28
申请号：CN201810827459.7
申请日：2018-07-25
Applicant: 清华大学
IPC: G06F40/211 , G06N5/02 , G06N3/04
Abstract: 本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法及系统，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法及系统能够深层地利用多语言间的互补性，有效提高了多语言场景下的关系抽取结果的准确性。
-
公开(公告)号：CN112100375B
公开(公告)日：2024-10-18
申请号：CN202010949883.6
申请日：2020-09-10
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F16/35 , G06F16/34 , G06F40/205 , G06N3/045 , G06N3/088 , G06F40/186
Abstract: 本申请实施例公开了一种文本信息生成方法、装置、存储介质以及设备，涉及人工智能技术领域，其中，该方法包括：获取第一原始文本信息；对第一原始文本信息进行标签识别，得到第一原始文本信息的第一预测属性情感标签；采用文本生成模型对第一预测属性情感标签进行文本预测，得到第一预测文本信息，对第一预测文本信息进行标签预测，得到第一预测文本信息的第二预测属性情感标签；根据第一原始文本信息、第一预测文本信息、第一预测属性情感标签以及第二预测属性情感标签，对文本生成模型进行调整，得到用于生成目标文本信息的目标文本生成模型。通过本申请能够降低训练文本生成模型的复杂度，提高文本生成模型的准确度。
-
公开(公告)号：CN113159168B
公开(公告)日：2022-09-02
申请号：CN202110420970.7
申请日：2021-04-19
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06K9/62 , G06F40/284 , G06N5/04 , G06N3/04 , G06N3/08
Abstract: 本发明实施例提供一种基于冗余词删除的预训练模型加速推理方法和系统，其中所述方法包括：使用给定下游任务的句子序列和样本标签在预训练语言模型上进行微调，得到一个微调好的初始模型；在微调好的初始模型中添加若干层词选择层，在所述微调好的初始模型中逐层向前传递词的过程中，在输入的词中仅保留通过所述词选择层的词进入到下一层；其中，所述词选择层是基于样本数据以及预先确定的词信息量标签进行训练后得到。本发明实施例提供的一种预训练语言模型加速推理方法，不但可以降低预训练语言模型推理时的资源消耗，还可以拓展其至长文本处理以获得更好的效果。同时，本发明可以快速得到不同加速度下相对性能较好的模型，具有良好的实用性。
-
-
-
-
-
-
-
-
-
Search Results
30
records
(took 0.028 seconds)
