-
公开(公告)号:CN119784609A
公开(公告)日:2025-04-08
申请号:CN202411961241.2
申请日:2024-12-30
Applicant: 浙江吉利控股集团有限公司 , 吉利汽车研究院(宁波)有限公司
Abstract: 本申请提供一种数字人图像生成方法、装置、设备及可读存储介质,所述方法通过模型驱动生成匹配驱动语音数据的多帧中间图像,并通过预先训练的牙齿生成网络结合中间图像之前完成牙齿重建的前K帧修正图像,对当前帧中间图像进行牙齿重建,并通过中间图像上牙齿区域的遮罩处理,根据遮罩图像将中间图像对应的修正图像与该中间图像进行融合,在保证了中间图像上面部表情与唇部口型与驱动语音数据的一致性匹配的同时,实现了对中间图像上牙齿区域的优化,使得数字人的牙齿在视觉上更加清晰、逼真,呈现出自然、合理的排列状态,提升了数字人的整体真实感。
-
公开(公告)号:CN119904391A
公开(公告)日:2025-04-29
申请号:CN202510083616.8
申请日:2025-01-20
Applicant: 浙江吉利控股集团有限公司 , 吉利汽车研究院(宁波)有限公司
Abstract: 本公开实施例涉及一种人脸图像修复处理及模型训练方法、装置、设备及介质,其中该方法包括:构建初始人脸图像修复模型,其中,初始人脸图像修复模型中包括预设数量个串联的密集连接残差块和修复图像输出模块,通过预设数量个串联的密集连接残差块提取第一样本人脸图像的第一人脸图像特征图,并通过初始人脸图像修复模型根据第一人脸图像特征图获取并输出实际修复图像;判断模型对应的目标损失值是否大于预设损失阈值;在损失值大于预设损失阈值时,修改初始人脸图像修复模型的模型参数直至对应的损失值小于预设损失阈值时,获取到训练后的人脸图像修复模型。在本技术方案中,提升了人脸图像的质量。
-
公开(公告)号:CN118799440A
公开(公告)日:2024-10-18
申请号:CN202410873148.X
申请日:2024-07-01
Applicant: 浙江吉利控股集团有限公司 , 吉利汽车研究院(宁波)有限公司
Abstract: 本申请提供一种数字人图像生成方法、装置、设备及可读存储介质,该方法通过输入的原始图像中数字人的头发区域确定出用于驱动处理的包含人头区域的感兴趣区域图像,将其裁切为第一图像后生成匹配数字人头部运动系数的包含人头运动的数字人图像,并将该数字人图像重新融合至输入的原始图像,解决了输入图像包括较多的除人头区域以外的其他部分图像时导致的图像畸变问题,并使得生成的数字人图像中头发区域与背景区域的融合边界过渡平滑,数字人的头部运动自然,从而提高了数字人图像的质量以及数字人的自然性和真实感。
-
公开(公告)号:CN118799439A
公开(公告)日:2024-10-18
申请号:CN202410873147.5
申请日:2024-07-01
Applicant: 浙江吉利控股集团有限公司 , 吉利汽车研究院(宁波)有限公司
Abstract: 本申请提供一种数字人图像融合方法、装置、设备及可读存储介质,通过预先根据数字人的原始视频中每帧原始图像上的人脸关键点信息,将将该帧原始图像与其对应的匹配驱动语音数据的数字人图像进行融合时所需的边界融合信息以遮罩图的形式存储,从而在将与驱动语音数据匹配的第一数字人图像与相同帧的原始图像进行融合时,直接应用预存储的边界融合信息实现图像融合,实现了融合边界过渡平滑自然,生成了实时高质量的数字人目标视频的视觉效果。
-
-
-