公开(公告)号：CN118114667B

公开(公告)日：2024-10-15

申请号：CN202311450661.X

申请日：2023-11-02

Applicant: 中国矿业大学(北京)

Inventor： 高文超 ,  杨丽 ,  崔传瑞 ,  杨恒瑀 ,  李毓 ,  赵珊珊

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种融合多头交叉注意力的命名实体识别模型，包括：嵌入表示模块：将输入的文本序列转化为嵌入表示，将每个单词映射为向量表示。共享特征表示模块：对每个单词的嵌入表示，提取出共享的特征表示。多头交叉注意力模块：用于在长文本中提取重要信息并通过多头注意力机制实现信息的集成和交互。多任务学习模块包括实体跨度分类模块使用Softmax联合交叉熵损失来进行模型的学习，和实体边界检测模块通过计算真实分布和预测分布之间的损失来进行模型的训练。最后训练完成的命名实体识别模型对未标注的文本句子进行预测，得到每个单词的命名实体标签。本发明的优点是：提高嵌套命名实体识别准确性，提高模型对于复杂文本中深层含义的理解能力。

公开(公告)号：CN118114667A

公开(公告)日：2024-05-31

申请号：CN202311450661.X

申请日：2023-11-02

Applicant: 中国矿业大学(北京)

Inventor： 高文超 ,  杨丽 ,  崔传瑞 ,  杨恒瑀 ,  李毓 ,  赵珊珊

IPC: G06F40/295 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明公开了一种融合多头交叉注意力的命名实体识别模型，包括：嵌入表示模块：将输入的文本序列转化为嵌入表示，将每个单词映射为向量表示。共享特征表示模块：对每个单词的嵌入表示，提取出共享的特征表示。多头交叉注意力模块：用于在长文本中提取重要信息并通过多头注意力机制实现信息的集成和交互。多任务学习模块包括实体跨度分类模块使用Softmax联合交叉熵损失来进行模型的学习，和实体边界检测模块通过计算真实分布和预测分布之间的损失来进行模型的训练。最后训练完成的命名实体识别模型对未标注的文本句子进行预测，得到每个单词的命名实体标签。本发明的优点是：提高嵌套命名实体识别准确性，提高模型对于复杂文本中深层含义的理解能力。