Invention Publication
- Patent Title: 一种基于扩散模型的视频处理方法、设备及介质
-
Application No.: CN202410795586.9Application Date: 2024-06-19
-
Publication No.: CN118822872APublication Date: 2024-10-22
- Inventor: 姚军 , 刘琛良 , 张亦弛 , 吴红 , 潘建波
- Applicant: 湖南芒果融创科技有限公司
- Applicant Address: 湖南省长沙市开福区月湖街道鸭子铺路30号马栏山芒果文创广场一期1栋3001东侧
- Assignee: 湖南芒果融创科技有限公司
- Current Assignee: 湖南芒果融创科技有限公司
- Current Assignee Address: 湖南省长沙市开福区月湖街道鸭子铺路30号马栏山芒果文创广场一期1栋3001东侧
- Agency: 长沙轩荣专利代理有限公司
- Agent 王丹
- Main IPC: G06T5/60
- IPC: G06T5/60 ; G06T5/70 ; G06T3/4038 ; G06N3/0464 ; G06N3/0455 ; G06V10/44 ; G06V10/80 ; G06V10/42 ; G06V10/82 ; H04N21/44 ; G06N3/048

Abstract:
本申请涉及视频处理技术领域,提供了一种基于扩散模型的视频处理方法、设备及介质,该方法包括:获取扩散模型反向的时间步的目标视频的物理先验特征,并基于物理先验特征计算多头注意力模型的头部分配向量;对每一帧图像进行特征提取,得到局部特征,并进行聚合得到全局特征;基于头部分配向量对局部特征进行编码得到头部对应的局部编码向量,并对每个局部编码向量进行加权,得到最终局部编码向量,进行整合得到局部编码;对全局特征进行编码,并进行加权和整合得到全局编码;对全局编码和每个局部编码进行解码,得到去噪图像,并进行拼接得到去噪视频。本申请的方法能够提高扩散模型输出的视频的质量。
Information query