一种结合system prompt减少大语言模型微调对泛化能力影响的方法及系统

    公开(公告)号:CN119067236A

    公开(公告)日:2024-12-03

    申请号:CN202411165771.6

    申请日:2024-08-23

    Abstract: 一种结合system prompt减少大语言模型微调对泛化能力影响的方法及系统,属于自然语言处理技术领域,解决大模型微调后的灾难性遗忘问题。方法包括:S1:根据需要解决的专业领域问题构造训练数据模板;S2:根据所述训练数据模板获得若干训练数据;S3:混合训练数据与待微调模型的开源数据,并调整训练数据与开源数据的混合比例,获得最优混合比例;S4:根据所述最优混合比例对待微调模型进行微调,得到最终的大语言模型。本发明所述的方法可以应用在对解决部分专业领域问题有所需要,同时又希望满足大模型正常问答能力的情景。

    一种专利授权率预测方法、系统、设备及存储介质

    公开(公告)号:CN117371576B

    公开(公告)日:2024-11-01

    申请号:CN202311171887.6

    申请日:2023-09-12

    Abstract: 一种专利授权率预测方法、系统、设备及存储介质,属于信息处理技术领域,解决现有专利审查过程中存在的无法全面检索并使用与专利相关的公开的现有技术从而导致预测的准确率下降的问题。所述方法包括:获取待测专利文献的摘要,对摘要文本进行向量化,得到摘要的向量;计算待测专利文献的余弦和公开专利数据集的余弦相似度;选取N篇与待测专利文献的余弦相似度最高的公开专利,并对其于待测专利文献进行训练,得到处理后文本和选取出的公开专利的向量表示;采集公开专利文献的主题;计算公开专利文献与其主题向量的距离,作为数据分布表示;通过卷积层、池化层和全连接层获得专利授权预测结果。本发明适用于专利授权率的预测场景。

    一种针对特定目标的立场检测方法

    公开(公告)号:CN114330360B

    公开(公告)日:2024-08-09

    申请号:CN202111469526.0

    申请日:2021-12-03

    Abstract: 本发明提出一种针对特定目标的立场检测方法,使用深度网络抽取句子的语义特征,并在立场检测时充分考虑目标特征,实现目标特征与句子特征的交互,模型使用稠密连接的BiLSTM网络和嵌套的LSTM网络抽取句子的语义特征,在捕捉句子深层的语义信息的同时,能够解决梯度消失问题和长期依赖问题;使用注意力机制获取特定目标对于句子各部分的重要度,从而得到融入特定目标信息的句子向量表示,帮助模型在进行立场检测时充分考虑给定的特定目标;通过实验验证本发明已达到较优的特定目标立场检测性能。

    一种专利文本新颖性和创造性预测方法及装置

    公开(公告)号:CN113836261B

    公开(公告)日:2024-05-31

    申请号:CN202110998664.1

    申请日:2021-08-27

    Abstract: 一种专利文本新颖性/创造性预测方法及装置,涉及自然语言处理中的文本匹配技术,目的是为了对专利申请文件的新颖性和/或创造性进行初步的预测判断。所述方法包括:利用主题模型对待预测专利文本与授权专利文本进行处理,得到各关键词的主题分布;计算各专利文本的各关键词的主题分布平均值;利用BERT模型对待预测专利文本与授权专利文本进行处理;将各专利文本的各关键词的主题分布的平均值和BERT模型的输出进行拼接,然后输入至全连接层;利用激活函数对全连接层的输出进行计算,得到待预测专利文本具备新颖性/创造性的概率。所述装置包括主题模块、主题分布平均值计算模块、BERT模块、拼接模块和概率计算模块。

    一种基于翻译简易度的数据筛选方法

    公开(公告)号:CN115034237A

    公开(公告)日:2022-09-09

    申请号:CN202210618305.3

    申请日:2022-06-01

    Abstract: 一种基于翻译简易度的数据筛选方法,它涉及一种数据筛选方法。本发明为了解决机器翻译数据增强过程中数据质量不佳的问题。本发明将扩增后的所有平行句对作为筛选的对象,首先,利用原有数据集训练得到一个语言模型,该语言模型用于后续的简易度的测量和计算,然后还需要利用已有的数据训练得到正向和反向的翻译模型,得到了三个模型之后,先根据语言模型计算扩增后新的数据的得分作为第一权值,紧接着再将该句子依次送入正向翻译模型和反向翻译模型后得到一个重构的句子,计算该重构句子和原句子之间的bleu值作为第二权值,最后将两个权值加权求和,按照从小到大进行排序,保留得分在排名前70%的句对即可。本发明属于计算机信息筛选技术领域。

    一种面向出行领域的人机多轮对话方法

    公开(公告)号:CN109063035B

    公开(公告)日:2021-11-09

    申请号:CN201810779805.9

    申请日:2018-07-16

    Abstract: 一种面向出行领域的人机多轮对话方法,它用于信息技术领域。本发明解决了目前的多轮对话系统对用户问句的意图信息和槽位信息提取存在困难的问题。本发明对短文本问句进行规范化处理,并利用DAN、CNN或BLSTM模型提取规范化处理后的短文本问句的意图信息,且基于BLSTM的模型取得了Micro‑F1值为93.47%的理想效果;利用引入意图特征词的BLSTM‑CRF模型提取规范化处理后的短文本问句的槽位信息,且模型取得了F1值为89.47%的理想效果;将历史的槽位信息和当前问句的槽位信息作为输入,确定当前的对话状态信息,并结合当前问句的意图信息确定下一步的回复策略;根据确定的回复策略选择对应的模板回复给用户。本发明可以应用于信息技术领域用。

    一种面向法律文本的多关系中主要关系的抽取方法

    公开(公告)号:CN113377916A

    公开(公告)日:2021-09-10

    申请号:CN202110693377.X

    申请日:2021-06-22

    Abstract: 本发明公开了一种面向法律文本的多关系中主要关系的抽取方法。步骤1:根据选定的法律条文文本进行实体及实体间关系的定义;步骤2:根据步骤1的法律实体定义和关系定义,确定对法律原文的序列标注方式;步骤3:根据步骤2对法律原文的序列标注方式,构建特定语料库;步骤4:利用步骤3的特定语料库,训练特定领域任务的识别模型,处理模型预测后的标注结果,将标注结果转换为关系输出,并结合已有特定关系输出输入法律文本的关系并确认主要关系。本发明用以解决领域内知识体系复杂,实体间关系重叠性较高,上下文依赖性较强,提及关系抽取困难的问题。

Patent Agency Ranking