公开(公告)号：CN119514636A

公开(公告)日：2025-02-25

申请号：CN202411485750.2

申请日：2024-10-23

Applicant: 北京理工大学东南信息技术研究院 ,  北京理工大学

Inventor： 黄河燕 ,  杨毅哲 ,  柏宇 ,  孙华山 ,  高扬

IPC: G06N3/09 ,  G06F40/237 ,  G06F40/284 ,  G06N3/0464 ,  G06F40/216 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/084

Abstract: 本申请提供一种轻量级中英双语大语言模型的两阶段训练方法，方法包括：步骤1，进行中英文训练数据收集与预处理；预处理流程包括特殊标记清除，敏感数据清理、数据去重、去除广告、格式化处理；步骤2，第一阶段高资源语言训练，即利用英语进行模型训练；步骤3，进行第二阶段双语混合训练，采用语言迁移训练，将中文数据和英文数据混杂进行第二阶段训练；其中，步骤3包括：步骤31，进行词表扩展；步骤32，语言迁移训练。本申请能够提高双语处理能力。

公开(公告)号：CN113011160A

公开(公告)日：2021-06-22

申请号：CN201911319728.X

申请日：2019-12-19

Applicant: 中国移动通信有限公司研究院 ,  中国移动通信集团有限公司 ,  北京理工大学

Inventor： 王惠欣 ,  任智杰 ,  胡珉 ,  柏宇 ,  高扬 ,  黄河燕

IPC: G06F40/211 ,  G06F40/216 ,  G06F40/279 ,  G06K9/62

Abstract: 本发明公开了一种文本摘要生成方法、装置、设备及存储介质。其中，该方法包括：获取需要生成文本摘要的目标文档；基于混合式文本摘要识别模型对所述目标文档进行识别，得到所述目标文档的文本摘要；其中，所述混合式文本摘要识别模型为通过强化学习的方法连接第一识别模型和第二识别模型生成的，所述第一识别模型用于输出抽取式文本摘要，所述第二识别模型用于输出生成式文本摘要。可以充分利用第一识别模型和第二识别模型的优点，支持处理较长文档，并生成概括性较高的新颖句子，且识别的速度和生成的文本摘要的质量均优于单独使用第一识别模型和第二识别模型。

公开(公告)号：CN110765254A

公开(公告)日：2020-02-07

申请号：CN201911008817.2

申请日：2019-10-21

Applicant: 北京理工大学

Inventor： 黄河燕 ,  任慕成 ,  魏然 ,  高扬 ,  刘宏玉 ,  柏宇 ,  王洋

IPC: G06F16/332 ,  G06F16/35

Abstract: 一种融合多视角答案重排序的多文档问答系统模型，属于计算机自然语言处理领域。具体操作步骤包含：①预处理文档数据并得出文档先验概率；②将问题文档对输入答案预测模型中得到候选答案及内在置信度；③训练分类器对候选答案计算外在置信度；④融合内在置信度、外在置信度以及文档先验概率三个视角对候选答案进行排序。本发明提出的融合多视角答案重排序的多文档问答系统模型与已有技术模型相比较，添加了从多视角进行答案重排序的模块，有效解决了传统管道式模型过度依赖文档检索从而容易产生错误累积的问题。实验表明，本发明提出的方法在文本召回率ROUGE-L和精确率BLEU-4的评测指标上有显著提升。