数据处理方法、装置、电子设备及介质

    公开(公告)号:CN113705254B

    公开(公告)日:2025-03-14

    申请号:CN202110329641.1

    申请日:2021-03-26

    Abstract: 本申请实施例公开了一种数据处理方法、装置、电子设备及介质,应用于机器学习技术领域。其中方法包括:获取样本文本数据和对应的翻译文本数据,将样本文本数据输入第一翻译模型得到每个文本词语分别对应的第一翻译结果,并将样本文本数据输入第二翻译模型得到每个文本词语分别对应的第二翻译结果,获取每个文本词语分别对应的翻译词语的重要指标参数,并根据重要指标参数从N个文本词语中确定目标文本词语,根据目标文本词语对应的第一翻译结果、对应的第二翻译结果和对应的翻译词语,确定模型翻译损失函数,并根据模型翻译损失函数修正第一翻译模型,得到目标翻译模型。采用本申请实施例,可以提高所获取到的目标翻译模型的准确性。

    一种命名实体模型的训练方法、装置、设备及存储介质

    公开(公告)号:CN113761924B

    公开(公告)日:2025-01-28

    申请号:CN202110420593.7

    申请日:2021-04-19

    Abstract: 本申请公开一种命名实体识别模型的训练方法、装置、设备及存储介质,根据目标数据中无标注的第一命名实体识别数据集和源数据中无标注的第二命名实体识别数据集对第一模型进行训练。将训练得到的第一模型的模型参数作为第二模型的初始模型参数,并通过第一任务数据集对第二模型进行训练,第一任务数据集为第一任务对应的数据集,第一任务为除命名实体识别任务之外的其他任务。将训练得到的第二模型的模型参数作为第三模型的初始模型参数,并通过源数据中带有标注的第三命名实体识别数据集对第三模型进行微调,得到命名实体识别模型。该方法实现能够利用更加丰富的数据来进行相关知识迁移的目的,提升了命名实体识别效果,具有实用性和可扩展性。

    客户端选择方法、装置、电子设备、存储介质和程序产品

    公开(公告)号:CN119272894A

    公开(公告)日:2025-01-07

    申请号:CN202310827092.X

    申请日:2023-07-06

    Abstract: 本申请实施例公开了一种客户端选择方法、装置、电子设备、存储介质和程序产品;本申请实施例向客户端发送待训练模型的初始模型向量;获取客户端的训练模型向量;基于初始模型向量以及训练模型向量,确定每个客户端分别对应的更新向量,以及均值更新向量;确定样本分布差异,样本分布差异反映更新向量对应的多媒体样本与均值更新向量对应的多媒体样本之间的差异;根据样本分布差异,从客户端中确定目标客户端。在本申请实施例中,可以通过更新向量和均值更新向量,得到客户端中多媒体样本的分布范围相对多媒体样本的平均分布范围的差异,以便通过样本分布差异,从多个客户端中筛选出未被植入后门的目标客户端。本方案可以提升客户端的筛选效率。

    文本处理方法、装置、终端及存储介质

    公开(公告)号:CN110489730B

    公开(公告)日:2024-08-09

    申请号:CN201910751992.4

    申请日:2019-08-14

    Abstract: 本发明实施例公开了一种文本处理方法、装置、终端及介质,其中方法包括:获取目标输入文本对应的候选响应文本集合;获取候选响应文本集合中各个候选响应文本的第一置信度;候选响应文本集合中的任一个候选响应文本的第一置信度是根据任一个候选响应文本的全局匹配信息预测得到,全局匹配信息由第一匹配信息和第二匹配信息融合得到,第一匹配信息用于反映任一候选响应文本与目标输入文本之间的相似度,第二匹配信息用于反映任一候选响应文本与另一候选响应文本之间的相似度;根据各个候选响应文本的第一置信度从候选响应文本集合中选取目标响应文本。本发明实施例可以更好地获取输入文本所对应的目标响应文本,提高目标响应文本的准确性。

    一种文本分类的方法、模型训练的方法、装置及存储介质

    公开(公告)号:CN111368079B

    公开(公告)日:2024-06-25

    申请号:CN202010129553.2

    申请日:2020-02-28

    Abstract: 本申请公开了一种应用于人工智能领域的文本分类方法,包括:获取待分类文本;通过编码器获取待分类文本中每个词语所对应的隐藏状态;根据每个词语所对应的隐藏状态,获取每个词语所对应的深度值;根据每个词语所对应的深度值以及每个词语所对应的词嵌入,生成每个词语所对应的词特征向量;基于每个词语所对应的词特征向量,通过文本分类模型获取待分类文本所对应的文本编码结果;通过文本分类模型获取待分类文本的分类结果。本申请还公开了一种模型训练的方法。本申请可以自适应地获取文本中每个词语所对应的深度值,使得文本分类模型根据不同的深度值对相应的词语进行编码,从而能够对文本中的词语进行执行充分计算。

    一种数据处理方法及相关设备

    公开(公告)号:CN118194887A

    公开(公告)日:2024-06-14

    申请号:CN202410617618.6

    申请日:2024-05-17

    Abstract: 本申请实施例提供了一种数据处理方法及相关设备,其中方法包括:获取待翻译的源对象;获取翻译提示模板,并按照所述翻译提示模板的指示在所述翻译提示模板中插入所述源对象,得到翻译提示信息;根据所述翻译提示信息,对所述源对象进行翻译处理,得到所述源对象的译文对象;获取所述译文对象对应的质量指示信息,并根据所述译文对象对应的质量指示信息,对所述译文对象进行调整处理,得到所述源对象的目标译文对象。通过本申请实施例可以提升翻译质量以及翻译准确性。

    翻译模型的训练方法及翻译模型的装置

    公开(公告)号:CN113591493B

    公开(公告)日:2024-06-07

    申请号:CN202110125748.4

    申请日:2021-01-29

    Inventor: 张映雪 孟凡东

    Abstract: 本公开涉及人工智能服务领域,更具体地涉及一种翻译模型的训练方法、一种包括翻译模型的装置、电子设备及计算机可读存储介质。所述翻译模型的训练方法,所述方法基于第一语料对样本集和第二语料对样本集,获取第三语料对样本集,其中,所述第三语料对样本集中的每个第三语料对样本是由具有相同语义的混合语种文本和第二语种文本组成的文本对,所述混合语种文本包括一个或多个第一语种词语和一个或多个第三语种词语;并利用所述第三语料对样本集来对所述翻译模型进行训练。本公开的训练方法能够使得翻译模型能够学习到足够多的与低资源语种相关的信息,进而提高对低资源语种的翻译效果。

    文本翻译、文本翻译模型的获取方法、装置、设备及介质

    公开(公告)号:CN117709366A

    公开(公告)日:2024-03-15

    申请号:CN202211049110.8

    申请日:2022-08-30

    Abstract: 本申请公开了一种文本翻译、文本翻译模型的获取方法、装置、设备及介质,属于计算机技术领域。该方法包括:基于第一语言的第一文本的第一文本特征,确定第二语言的各个候选文本分别对应的第一概率;获取与第一文本特征匹配的至少一个目标数据对;确定至少一个目标数据对的置信度以及匹配度;基于至少一个目标数据对的置信度以及匹配度,确定至少一个目标数据对中的各个标准翻译文本分别对应的第二概率;基于各个候选文本分别对应的第一概率以及各个标准翻译文本分别对应的第二概率,确定第一文本对应的翻译文本。通过考虑目标数据对的置信度,能够提高各个标准翻译文本分别对应的第二概率的可靠性,进而提高文本翻译的准确性。

    一种分类模型的训练方法、装置、电子设备和存储介质

    公开(公告)号:CN117540024A

    公开(公告)日:2024-02-09

    申请号:CN202410029694.5

    申请日:2024-01-09

    Inventor: 罗云 杨振 孟凡东

    Abstract: 本申请涉及计算机技术领域,尤其涉及人工智能技术领域,提供一种分类模型的训练方法、装置、电子设备和存储介质。方法包括:基于训练样本集对待训练的分类模型进行多轮训练;在一轮训练中,预测文本样本针对描述目标的立场;基于真实标签对应的一个因果分析的第二文本特征,结合相应文本样本的第一文本特征,生成相应的因果释义;基于文本样本对应的各因果分析集的第三文本特征集,对相应文本样本的各因果分析的正确性概率进行预测与排序,得到对应的预测排序结果;基于各预测立场、各因果释义和各预测排序结果,进行参数调整。由于本申请同时使模型进行文本样本本身以及因果分析的学习,因此可以提高模型的学习能力,进一步提高模型准确性。

Patent Agency Ranking