一种文本分类的方法、模型训练的方法、装置及存储介质

    公开(公告)号:CN111368079B

    公开(公告)日:2024-06-25

    申请号:CN202010129553.2

    申请日:2020-02-28

    Abstract: 本申请公开了一种应用于人工智能领域的文本分类方法,包括:获取待分类文本;通过编码器获取待分类文本中每个词语所对应的隐藏状态;根据每个词语所对应的隐藏状态,获取每个词语所对应的深度值;根据每个词语所对应的深度值以及每个词语所对应的词嵌入,生成每个词语所对应的词特征向量;基于每个词语所对应的词特征向量,通过文本分类模型获取待分类文本所对应的文本编码结果;通过文本分类模型获取待分类文本的分类结果。本申请还公开了一种模型训练的方法。本申请可以自适应地获取文本中每个词语所对应的深度值,使得文本分类模型根据不同的深度值对相应的词语进行编码,从而能够对文本中的词语进行执行充分计算。

    一种摘要生成模型的训练方法及相关装置

    公开(公告)号:CN117473359A

    公开(公告)日:2024-01-30

    申请号:CN202311178879.4

    申请日:2023-09-12

    Abstract: 本申请公开一种摘要生成模型的训练方法及相关装置;方法包括:初始生成模型包括编码器、融合器和解码器,将第一批量样本中第一样本文本、第一样本图像和第一样本摘要输入编码器,编码输出第一文本向量、第一图像向量、第一对象向量和第一摘要分词向量。将第一文本向量和第一图像向量输入融合器,跨模态融合输出第一融合向量;将第一融合向量和第一样本摘要的第一表示向量输入解码器,解码输出第一概率密度。通过最大化第一概率密度、第一对象向量与第一摘要分词向量之间的第一相似度、最小化第一对象向量与多个第二摘要分词向量之间的多个第二相似度,训练初始生成模型的模型参数得到摘要生成模型。该方法提升摘要生成模型的摘要效果。

    数据处理方法、装置、计算机可读介质及电子设备

    公开(公告)号:CN115545048A

    公开(公告)日:2022-12-30

    申请号:CN202110744263.3

    申请日:2021-06-30

    Abstract: 本申请属于人工智能技术领域,具体涉及一种数据处理方法、数据处理装置、计算机可读介质以及电子设备。本申请实施例中的数据处理方法,包括:获取源端输入样本以及与所述源端输入样本相关联的目标输出样本;对源端输入样本进行编码处理得到所述源端输入样本的中间语义特征;按照解码步骤对目标端输入样本和所述中间语义特征进行解码处理得到与所述源端输入样本相对应的实际输出数据,所述目标端输入样本是对所述目标输出样本和所述实际输出数据进行采样得到的混合样本;按照所述解码步骤逐步增大所述实际输出数据在所述目标端输入样本中的分布比例。该方法可以在保证模型训练效率的同时提高模型训练精度。

    一种数据处理方法、装置、计算机设备及存储介质

    公开(公告)号:CN114528852A

    公开(公告)日:2022-05-24

    申请号:CN202210140138.6

    申请日:2022-02-15

    Abstract: 本申请实施例公开了一种数据处理方法、装置、计算机设备以及存储介质。其中方法包括:获取样本语料集,样本语料集包括目标样本语料对,目标样本语料对包括第一样本语句和第二样本语句,第二样本语句是第一样本语句翻译后的语句;根据第一样本语句和第二样本语句中j‑1个数据对第二样本语句中第j个数据进行概率预测处理,得到第j个数据的第一预测概率;根据前j‑1个数据对第二样本语句的第j个数据进行概率预测处理,得到第j个数据的第二预测概率;根据第j个数据的第一预测概率和第二预测概率对初始模型进行训练,得到目标模型;获取输入语句,将输入语句输入目标模型,生成翻译后的输出语句。以使得文本翻译更准确,提高数据处理准确性。

    模型训练方法、装置、电子设备、介质和程序产品

    公开(公告)号:CN119599032A

    公开(公告)日:2025-03-11

    申请号:CN202311175504.2

    申请日:2023-09-11

    Abstract: 本申请实施例公开了一种模型训练方法、装置、电子设备、介质和程序产品,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景;本申请实施例获取训练样本集,训练样本集包括初始场景对应的初始样本文本、以及新增场景对应的新增样本文本;通过教师模型对初始样本文本进行翻译,得到教师翻译结果;通过初始学生模型对初始样本文本以及新增样本文本进行翻译,得到学生翻译结果;结合教师翻译结果以及学生翻译结果,计算得到损失值;基于损失值,更新初始学生模型的模型参数,得到训练后的学生模型,以便将训练后的学生模型用于翻译初始场景和新增场景对应的待翻译文本。由此,本方案可以在提升模型训练效率的同时增强模型的多场景适应能力。

    文本翻译方法、装置、计算机设备和存储介质

    公开(公告)号:CN118734869A

    公开(公告)日:2024-10-01

    申请号:CN202310368793.1

    申请日:2023-03-28

    Abstract: 本申请涉及人工智能,具体涉及一种文本翻译方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取初始文本,并确定对初始文本进行翻译的至少一种翻译任务类型;针对至少一种翻译任务类型,分别在初始文本中添加标记标签,获得至少一个标记文本;基于至少一个标记文本所包括的翻译任务标签,确定与至少一种标记文本适配的至少一种文本编码方式;分别按照适配的文本编码方式进行语义编码处理,得到至少一种翻译任务类型一一对应的编码向量序列;对至少一种翻译任务类型一一对应的编码向量序列分别进行语义解码处理,得到至少一种翻译任务类型一一对应的翻译译文。采用本方法能够提升文本的翻译效率。

    一种文本分类的方法、模型训练的方法、装置及存储介质

    公开(公告)号:CN111368079A

    公开(公告)日:2020-07-03

    申请号:CN202010129553.2

    申请日:2020-02-28

    Abstract: 本申请公开了一种应用于人工智能领域的文本分类方法,包括:获取待分类文本;通过编码器获取待分类文本中每个词语所对应的隐藏状态;根据每个词语所对应的隐藏状态,获取每个词语所对应的深度值;根据每个词语所对应的深度值以及每个词语所对应的词嵌入,生成每个词语所对应的词特征向量;基于每个词语所对应的词特征向量,通过文本分类模型获取待分类文本所对应的文本编码结果;通过文本分类模型获取待分类文本的分类结果。本申请还公开了一种模型训练的方法。本申请可以自适应地获取文本中每个词语所对应的深度值,使得文本分类模型根据不同的深度值对相应的词语进行编码,从而能够对文本中的词语进行执行充分计算。

    对话翻译方法、装置、电子设备、存储介质及程序产品

    公开(公告)号:CN118734863A

    公开(公告)日:2024-10-01

    申请号:CN202310379093.2

    申请日:2023-03-31

    Abstract: 本申请提供了一种对话翻译方法、装置、电子设备、计算机可读存储介质及计算机程序产品;涉及人工智能技术;方法包括:获取当前对话的第一对话原文,并获取当前对话的至少一种类型的知识;基于第一对话原文以及至少一种类型的知识进行图构建处理,得到当前对话的图结构;对当前对话的图结构进行图编码处理,得到当前对话的知识图表示;对当前对话的知识图表示进行情感预测处理,得到当前对话的预测情感;基于当前对话的知识图表示以及当前对话的预测情感进行翻译处理,得到当前对话的第一对话译文。通过本申请,能够准确地在对话译文中表达情感,从而提高对话翻译的准确性。

    训练样本处理方法、装置、设备、存储介质和程序产品

    公开(公告)号:CN118734844A

    公开(公告)日:2024-10-01

    申请号:CN202310358966.1

    申请日:2023-03-28

    Abstract: 本申请涉及一种训练样本处理方法、装置、设备、存储介质和程序产品。所述方法包括:获取原始样本,每个原始样本包括文本、文本中的方面词以及方面词在文本中的位置信息;对文本中的方面词进行掩码处理,得到掩码后的文本;通过预训练语言模型,根据掩码后的文本与位置信息对位置信息所指示方面词位置进行方面词预测,得到预测方面词;将原始样本的文本中的方面词替换为预测方面词,得到增强样本;增强样本用于训练方面词抽取模型。采用本方法能够产生包含新的方面词的增强样本,使用增强样本训练方面词抽取模型,使得方面词抽取模型可以提取新的方面词,提升方面词抽取模型的精确性。

Patent Agency Ranking