公开(公告)号：CN116977763A

公开(公告)日：2023-10-31

申请号：CN202211701705.7

申请日：2022-12-28

Applicant: 腾讯科技(深圳)有限公司

Inventor： 杨澍生 ,  葛艺潇 ,  易坤 ,  单瀛 ,  王兴刚

IPC: G06V10/774 ,  G06V10/82 ,  G06V10/77 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种模型训练方法、装置、计算机可读存储介质及计算机设备。方法通过获取训练样本数据；将样本图像输入至神经网络模型，得到神经网络模型输出的图像特征，并基于图像特征与样本文本的文本特征计算第一损失；对样本图像进行掩码处理，得到掩码图像，并将掩码图像输入至神经网络模型，得到神经网络模型输出的掩码特征；对掩码特征进行解码，得到预测图像特征，并基于文本特征将图像特征与预测图像特征映射到文本空间，得到第一映射特征以及第二映射特征；基于第一映射特征与第二映射特征计算第二损失，并根据第一损失和第二损失对神经网络模型的参数进行更新。该方法可以提升训练得到的模型的准确性和可迁移性。

公开(公告)号：CN114565807B

公开(公告)日：2024-09-24

申请号：CN202210202436.3

申请日：2022-03-03

Applicant: 腾讯科技(深圳)有限公司

Inventor： 张斌杰 ,  葛艺潇 ,  苏树鹏 ,  徐叙远 ,  王烨鑫 ,  单瀛

IPC: G06V10/774 ,  G06V10/764 ,  G06N20/00 ,  G06F16/583

Abstract: 本申请公开了训练目标图像检索模型的方法及相应的装置、计算设备、存储介质、和计算机程序产品。该方法用于使经训练的目标图像检索模型相对于原始图像检索模型具备后向兼容性。该方法包括：获取样本图像数据和标签；将样本图像数据输入到原始模型中，以得到对应的第一特征向量；对第一特征向量进行类别表征操作，以确定类别表征结果；将样本图像数据输入到目标模型，以得到对应的第二特征向量；将第二特征向量输入到目标模型的目标分类器，以得到目标预测分类结果；基于第二特征向量、第一特征向量的类别表征结果、标签和目标预测分类结果，确定目标模型的综合损失函数；基于综合损失函数更新目标模型的参数，使得目标模型达到收敛，以完成训练。

公开(公告)号：CN117216546A

公开(公告)日：2023-12-12

申请号：CN202310638818.5

申请日：2023-05-31

Applicant: 腾讯科技(深圳)有限公司

Inventor： 白云鹏 ,  王鑫涛 ,  曹炎培 ,  葛艺潇 ,  袁春 ,  单瀛

IPC: G06F18/214 ,  G06F18/22 ,  G06F18/15 ,  G06F18/213 ,  G06T11/00 ,  G06T5/00 ,  G06T9/00

Abstract: 本申请提供了一种脑电生成图像模型训练方法、装置、设备及计算机可读存储介质；方法包括：获取脑电信号样本以及第一图像样本；通过脑电编码器对脑电信号样本进行编码，得到脑电编码，通过图像编码器对第一图像样本进行编码，得到图像编码；通过图像生成网络对噪声图像进行以脑电信号样本的脑电编码为条件的去噪，得到预测去噪结果；基于预测去噪结果与第一真实去噪结果的误差构建第一去噪损失，基于脑电编码与图像编码之间的距离构建脑电图像对齐损失；基于第一去噪损失以及脑电图像对齐损失，对脑电编码器以及图像生成网络进行参数更新。通过本申请，能够通过对齐脑电信号维度以及图像维度，从而优化模型的图像生成能力。

公开(公告)号：CN114329053A

公开(公告)日：2022-04-12

申请号：CN202210016222.7

申请日：2022-01-07

Applicant: 腾讯科技(深圳)有限公司

Inventor： 葛玉莹 ,  葛艺潇 ,  李典 ,  单瀛 ,  郄小虎

IPC: G06F16/735 ,  G06F16/783 ,  G06N20/00

Abstract: 本申请涉及一种特征提取模型训练、媒体数据检索方法、装置、计算机设备、存储介质和计算机程序产品，本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。所述方法包括：通过初始文本特征提取模型提取问题文本、目标答案和候选答案的特征得到问题文本特征、目标答案特征和候选答案特征，通过初始媒体特征提取模型提取训练媒体数据对应的特征得到训练媒体特征，通过初始媒体文本交互模型对问题文本特征和训练媒体特征进行特征交互得到预测答案特征；基于预测答案特征分别和目标答案特征、候选答案特征的相似度调整各个模型的模型参数，直至满足收敛条件，得到用于提高检索准确性的目标文本特征提取模型和目标媒体特征提取模型。

公开(公告)号：CN117218338A

公开(公告)日：2023-12-12

申请号：CN202310172207.6

申请日：2023-02-17

Applicant: 腾讯科技(深圳)有限公司

Inventor： 蔡冠羽 ,  祝叶 ,  葛艺潇 ,  王鑫涛 ,  单瀛

IPC: G06V10/26 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请实施例公开一种语义分割模型训练方法和语义分割方法，该语义分割模型训练方法将利用第一样本图像构建的正样本对和负样本对输入预设模型得到样本图像语义特征和样本文本语义特征，并根据样本图像语义特征和样本文本语义特征计算对比学习损失，将第二样本图像输入预设模型，得到样本图像重建结果，根据样本图像重建结果和第二样本图像对应的原始图像之间的差异，计算重建损失，基于对比学习损失和重建损失调整预设模型的参数，得到语义分割模型。将重构损失作为模型调参的依据，可以避免模型将图像不同的像素点分配到不同的类别时容易将相邻的像素点聚集到同一类别的问题，从而解决语义分割结果过度平滑的问题，提高语义分割的准确性。

公开(公告)号：CN117011536A

公开(公告)日：2023-11-07

申请号：CN202211242030.4

申请日：2022-10-11

Applicant: 腾讯科技(深圳)有限公司

Inventor： 张斌杰 ,  葛艺潇 ,  苏树鹏 ,  徐叙远 ,  王烨鑫 ,  单瀛

IPC: G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82

Abstract: 本申请涉及一种特征提取模型处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法涉及机器学习，包括：获取样本图像及基于样本图像的第一图像特征所反映的特征鉴别力确定的继承参数；通过特征提取模型从样本图像中提取第二图像特征；通过历史图像分类模型基于第二图像特征进行第一分类，通过继承参数对第一分类的分类损失进行调整，得到模型兼容损失；通过图像分类模型基于第二图像特征进行第二分类；基于模型兼容损失和第二分类的分类损失，对特征提取模型和图像分类模型进行更新后继续进行联合训练，直至训练完成，获得训练完成的特征提取模型。采用本方法能够在确保模型兼容性的同时，提高图像特征提取有效性。

公开(公告)号：CN115114480A

公开(公告)日：2022-09-27

申请号：CN202210443286.5

申请日：2022-04-26

Applicant: 腾讯科技(深圳)有限公司

Inventor： 葛玉莹 ,  葛艺潇 ,  单瀛

IPC: G06F16/783 ,  G06F16/738

Abstract: 本申请实施例提出了一种数据处理方法、装置、设备、可读存储介质及程序产品，可应用于云技术、人工智能、智慧平台、应用软件、车载、文本视频检索等领域或场景，该方法包括：获取待检测视频描述文本，将待检测视频描述文本输入文本编码器中进行处理，得到待检测视频描述文本的文本特征；将待检测视频的视频图像输入第一视频编码器中进行处理，得到待检测视频的视频特征；根据文本特征和视频特征，确定待检测视频描述文本和待检测视频的匹配结果。通过本申请实施例，可以提高视频描述文本与待检测视频的匹配结果的生成效率和准确率。

公开(公告)号：CN115146092B

公开(公告)日：2025-01-03

申请号：CN202210397551.0

申请日：2022-04-15

Applicant: 腾讯科技(深圳)有限公司

Inventor： 苏树鹏 ,  张斌杰 ,  葛艺潇 ,  徐敘遠 ,  王烨鑫 ,  单瀛

IPC: G06F16/532 ,  G06V10/40 ,  G06V10/774 ,  G06V10/82 ,  G06V10/74 ,  G06F21/60 ,  G06N3/0464

Abstract: 本申请公开了一种特征模型的获取方法、图像处理方法、装置、计算机设备及存储介质，属于计算机技术领域。本申请通过获取用于表征不同类别下样本图像的第一图像特征的差异程度的判别性参数，使得判别性参数能够控制训练得到的目标特征模型具有更优的特征提取能力，通过获取用于表征同一样本图像的第一图像特征和第二图像特征的相似程度的兼容性参数，使得兼容性参数能够控制该目标特征模型与原本的第一特征模型具有更好的兼容性能力，因此，在判别性参数和兼容性参数的共同约束下，对初始特征模型训练得到的目标特征模型，不但具有更优的特征提取能力，而且还具有很强的兼容性能力。

公开(公告)号：CN118644683A

公开(公告)日：2024-09-13

申请号：CN202410782364.3

申请日：2024-06-17

Applicant: 腾讯科技(深圳)有限公司

Inventor： 叶栩冰 ,  甘宇康 ,  葛艺潇 ,  单瀛

IPC: G06V10/40 ,  G06V30/19 ,  G06V20/40 ,  G06F18/213 ,  G06F17/16 ,  G06F40/20

Abstract: 本申请公开了一种数据处理方法、装置、设备及可读存储介质，该方法包括：将业务媒体数据划分为至少两个单位媒体数据，对每个单位媒体数据分别进行向量映射，得到M个视觉映射向量，获取针对业务媒体数据的文本信息，对文本信息进行向量映射，得到N个文本映射向量；将M个视觉映射向量和N个文本映射向量组合的映射向量序列中插入压缩标记向量，得到视觉压缩序列；基于压缩标记向量，对视觉压缩序列进行因果变换处理，得到全局压缩向量；全局压缩向量用于表征M个视觉映射向量的全局语义；基于全局压缩向量和N个文本映射向量生成针对业务媒体数据的服务结果。采用本申请，可以压缩视觉映射向量，在提高模型性能的同时降低计算成本。

公开(公告)号：CN117216536A

公开(公告)日：2023-12-12

申请号：CN202310203139.5

申请日：2023-02-24

Applicant: 腾讯科技(深圳)有限公司

Inventor： 王腾 ,  葛艺潇 ,  单瀛 ,  郑锋 ,  罗平

IPC: G06F18/214 ,  G06F18/25 ,  G06V10/40 ,  G06V10/774 ,  G06V10/82 ,  G06F40/289 ,  G06F18/27 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/048 ,  G06N3/08

Abstract: 本申请实施例提供一种模型训练方法、装置和设备及存储介质，涉及人工智能技术领域，包括：训练样本包括：样本图像及内容描述文件；对图文预测模型进行循环迭代训练，输出目标图文预测模型；在一次循环迭代过程中：分别针对训练样本中样本图像及内容描述文件进行特征提取，获得图像特征和文本特征并进行特征融合，获得多模态特征；多模态特征中各特征元素的第一排序与内容描述文件中各单词的第二排序相关联；基于第一排序，采用并行方式，分别随机损坏多模态特征中连续排列的至少一个特征元素，并对损坏的特征元素重构，获得各预测特征；基于文本特征与各预测特征之间差异，对模型调参，如此可以提高图文预测模型训练效率。