公开(公告)号：CN115830330A

公开(公告)日：2023-03-21

申请号：CN202211700753.4

申请日：2022-12-28

Applicant: 北京有竹居网络技术有限公司

Inventor： 江毅 ,  严彬 ,  吴剑南 ,  袁泽寰

IPC: G06V10/40 ,  G06V10/46 ,  G06V10/774 ,  G06N3/08 ,  G06N3/0464

Abstract: 提供了利用通用模型来处理视觉任务的方法、装置、设备和介质。在一种方法中，接收与视觉任务相关联的视觉数据和提示数据，视觉任务指定从视觉数据中确定与提示数据相关联的处理结果。获取提示数据的通用提示表示，提示数据包括图像格式和语言表达格式中的任一项。获取视觉数据的通用视觉表示，视觉数据包括图像格式和视频格式中的任一项。基于通用提示表示和通用视觉表示，确定处理结果。利用本公开的示例性实现方式，可以以统一方式处理不同视觉任务，进一步可以跨越多个视觉任务来共享训练数据，并且可以提高通用处理模型的处理性能。

公开(公告)号：CN119672176A

公开(公告)日：2025-03-21

申请号：CN202411722468.1

申请日：2024-11-27

Applicant: 北京有竹居网络技术有限公司 ,  脸萌有限公司

Inventor： 韩剑 ,  刘瑾莱 ,  江毅 ,  严彬 ,  张瑜琦 ,  袁泽寰 ,  彭兵月

IPC: G06T11/60 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/09

Abstract: 本公开的实施例提供了图像生成方法、装置、设备、存储介质和程序产品。该方法包括：至少基于用于图像生成的文本提示词，利用经训练的机器学习模型来生成特征嵌入；利用经训练的分类器模型从视觉特征码本中确定至少一个视觉特征单元，以组成与特征嵌入相匹配的视觉特征图，利用分类器模型中的每个分类器分别确定比特序列中的一个比特位置的取值，并且基于所确定的比特序列中的各个比特位置的取值，从视觉特征码本中获取视觉特征单元；以及基于视觉特征图，生成与文本提示词相匹配的预测图像。以此方式，可以提高模型训练效率和模型推理效率，并且可以增强生成图像的多样性和质量。

公开(公告)号：CN115830330B

公开(公告)日：2025-02-28

申请号：CN202211700753.4

申请日：2022-12-28

Applicant: 北京有竹居网络技术有限公司

Inventor： 江毅 ,  严彬 ,  吴剑南 ,  袁泽寰

IPC: G06F17/00

Abstract: 提供了利用通用模型来处理视觉任务的方法、装置、设备和介质。在一种方法中，接收与视觉任务相关联的视觉数据和提示数据，视觉任务指定从视觉数据中确定与提示数据相关联的处理结果。获取提示数据的通用提示表示，提示数据包括图像格式和语言表达格式中的任一项。获取视觉数据的通用视觉表示，视觉数据包括图像格式和视频格式中的任一项。基于通用提示表示和通用视觉表示，确定处理结果。利用本公开的示例性实现方式，可以以统一方式处理不同视觉任务，进一步可以跨越多个视觉任务来共享训练数据，并且可以提高通用处理模型的处理性能。

公开(公告)号：CN115187895A

公开(公告)日：2022-10-14

申请号：CN202210712928.7

申请日：2022-06-22

Applicant: 北京有竹居网络技术有限公司

Inventor： 江毅 ,  严彬 ,  孙培泽 ,  袁泽寰 ,  卢靓妮

IPC: G06V20/40 ,  G06V10/82 ,  G06V10/80

Abstract: 本申请公开了一种视频检测方法、装置、存储介质及设备，该方法包括：首先获取待检测的目标视频，并从中截取参考帧图像和目标帧图像，然后利用骨干网络对参考帧图像和目标帧图像分别进行分类特征提取，得到二者对应的层次化特征；接着对层次化特征进行交互处理，得到交互特征矩阵，再通过对参考帧图像进行处理，得到参考先验张量，并将其和交互特征矩阵进行融合处理，得到目标先验张量；进而将目标先验张量与层次化特征进行融合处理，并根据处理结果对目标视频中的目标对象进行检测。由于本申请能够同时实现目标视频中单目标跟踪、多目标跟踪、视频目标分割、多目标跟踪与分割四种不同类型所对应的目标对象的检测，从而提高了视频检测效果。

公开(公告)号：CN115690504A

公开(公告)日：2023-02-03

申请号：CN202211376746.3

申请日：2022-11-04

Applicant: 北京有竹居网络技术有限公司

Inventor： 江毅 ,  吴剑南 ,  严彬 ,  袁泽寰

IPC: G06V10/764 ,  G06V10/778 ,  G06N20/00

Abstract: 提供了利用机器学习模型来处理图像的方法、装置、设备和介质。机器学习模型从图像中识别至少一个候选对象，并且包括：特征提取模型，描述图像与至少一个候选对象的特征之间的关联关系；以及分类评分模型，描述特征与至少一个候选对象的分类评分之间的关联关系，分类评分表示至少一个候选对象被分类为图像中的前景的概率。在一种方法中，基于至少一个候选对象的分类评分与图像中的至少一个真值对象的真值分类评分，确定与分类评分模型相关联的更新参数。基于与分类评分模型相关联的更新参数，更新分类评分模型。阻止利用与分类评分模型相关联的更新参数来更新特征提取模型。可以提高机器学习模型的训练精度，从而提高对象识别的准确性。