-
公开(公告)号:CN109344266B
公开(公告)日:2021-08-06
申请号:CN201811106799.7
申请日:2018-09-21
Applicant: 北京大学深圳研究生院
IPC: G06F16/48 , G06F16/435
Abstract: 本发明公布了一种基于双语义空间的对抗性跨媒体检索方法,涉及模式识别、自然语言处理、多媒体检索等技术领域;包括:特征生成过程、双语义空间的构建过程和对抗性语义空间优化过程。本发明通过建立同构双语义空间,即文本子空间和图像子空间,实现在最大限度保留原有图像和文本信息的同时消除语义鸿沟;并通过对抗训练来优化同构子空间数据分布,挖掘多媒体数据中丰富的语义信息,在保证类别不变、模态可区分的情况下拟合语义空间中不同模态的向量分布。本发明方法能够有效的消除不同模态信息异构性,实现有效的跨媒体检索,在图文检索、模式识别等领域具有广泛的市场需求和应用前景。
-
公开(公告)号:CN106447674B
公开(公告)日:2020-01-14
申请号:CN201610873997.0
申请日:2016-09-30
Applicant: 北京大学深圳研究生院
Abstract: 本发明公布了一种视频的背景去除方法,涉及视频分析技术领域,尤其涉及一种基于图像块、高斯混合模型、随机过程的背景去除方法;首先定义了块的概念,通过比较块之间的不同来确定前景与背景;使用高斯混合模型来自动的调整阈值,同时采用随机过程的思想来更新背景;最后在BMC数据集上做实验,结果显示本发明方法超越了目前大多数先进算法,准确度非常高。本发明方法具有广泛的适用性,可适用于监控视频的背景减除,在视频分析领域具有非常重要的应用。
-
公开(公告)号:CN108769674B
公开(公告)日:2019-11-12
申请号:CN201810675070.5
申请日:2018-06-27
Applicant: 北京大学深圳研究生院
IPC: H04N19/103 , H04N19/149 , H04N19/18
Abstract: 本发明公布了一种基于自适应层次化运动建模的视频预测方法,包括:建立视频的层次化运动模型、训练模型、用训练好的模型预测视频未来帧;其中,建立视频的层次化运动模型包括视频的层次化运动建模和自适应的运动变换过程。两个过程的处理均能独立提升视频预测的效果。采用本发明方法得到预测结果的信噪比、与真实结果的结构相似度均有所增加,能够提升视频预测的效果,提高预测结果清晰度和合理性。
-
公开(公告)号:CN109544475A
公开(公告)日:2019-03-29
申请号:CN201811389239.7
申请日:2018-11-21
Applicant: 北京大学深圳研究生院
IPC: G06T5/00
Abstract: 本发明涉用于图像去模糊的Bi-Level优化方法,设计让两种层级损失函数相互交替进行模型优化,Bi-Level优化机制分为两个步骤,第一步用MSE损失条件训练出一个基本模型,第二步采用双层级损失交互迭代进行模型微调操作。这是因为在训练初期,复原效果与清晰图像之间的散度比较大,噪声的作用可以忽略不计,而在训练后期噪声被不断放大使其负面作用愈加明显,因此引入感知损失进行噪声抑制同时将MSE损失改为L1损失以足够保证结构连续性。本发明具有纹理恢复准确、深度特征与像素值匹配的优点。
-
公开(公告)号:CN104995917B
公开(公告)日:2019-03-15
申请号:CN201580000246.1
申请日:2015-05-07
Applicant: 北京大学深圳研究生院
IPC: H04N19/513 , H04N19/57
Abstract: 一种自适应运动估计方法和模块,该模块包括宏块划分单元、宏块选择单元、运动强度判断单元和运动估计单元。宏块划分单元待编码的视频帧划分宏块。宏块选择单元用于依次选择视频帧中的图像块作为当前图像块。运动强度判断单元用于判断当前图像块的运动强度,并根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法。运动估计单元根据运动强度判断单元所选择的运动估计方法对当前图像块进行运动估计。在对图像块进行运动估计之前,先判断图像块的运动强度,根据当前图像块的运动强度自适应选择用于对当前图像块进行运动估计的运动估计方法,以提高视频编解码中运动估计的效率。
-
公开(公告)号:CN105160344B
公开(公告)日:2019-01-04
申请号:CN201510340617.2
申请日:2015-06-18
Applicant: 北京大学深圳研究生院
IPC: G06K9/46
Abstract: 本申请提供的三维点云的局部特征提取方法及装置,基于与每个体元素的点对应的局部参考系来计算待提取特征点与相邻体元素的点的角度信息和凹凸信息,能够准确的计算两点之间的特征关系,具有平移、旋转不变的性质,并且由于提取同时将局部点云的凹凸信息包含进去,解决了以往3D局部特征描述时忽略凹凸二义性而导致提取不准的问题。在归一化处理时,采用指数归一化处理及第二范式归一化处理,解决了特征提取时,向量中少量元素过大或过小所导致的相似度计算不准确的问题,从而能提高所提取的三维局部特征的准确性。
-
公开(公告)号:CN109101859A
公开(公告)日:2018-12-28
申请号:CN201710474582.0
申请日:2017-06-21
Applicant: 北京大学深圳研究生院
Abstract: 本发明公布了一种使用高斯惩罚检测图像中行人的方法,在行人检测过程中,使用高斯惩罚对获得的初步行人边界框进行筛选,从而提升对图像中行人尤其是遮挡行人的检测性能;包括:获取行人检测图像的训练数据集、测试数据集和行人标注;使用行人检测方法用训练数据集训练得到检测模型,获取初步的行人边界框及其置信度和坐标;对行人边界框的置信度进行高斯惩罚,得到惩罚后的行人边界框置信度;通过行人边界框筛选得到最终的行人边界框,从而达到去除单个行人的重复边界框,而保留被遮挡行人的边界框的目的,由此实现对图像中行人的检测。本发明能够显著降低行人检测的漏检率,提高遮挡行人的检出率。
-
公开(公告)号:CN106202413B
公开(公告)日:2018-11-20
申请号:CN201610544156.5
申请日:2016-07-11
Applicant: 北京大学深圳研究生院
IPC: G06F17/30
Abstract: 本发明公布了一种新的跨媒体检索方法,利用VGG提出的卷积神经网络VGG net提取图像特征,将VGG卷积神经网络中的第七层全连接层fc7通过ReLU激活函数之后的4096维特征作为图像特征;利用基于Word2vec的Fisher Vector提取文本特征,通过逻辑回归的方法对异构图像、文本特征进行语义匹配,通过基于逻辑回归的语义匹配方法找到图像、文本这两种异构特征之间的关联,从而实现跨媒体检索;本发明的特征提取方法能有效地表示图像和文本的深层语义,可提高跨媒体检索的准确度,从而大幅度提升跨媒体检索效果。
-
公开(公告)号:CN105517677B
公开(公告)日:2018-10-12
申请号:CN201580000247.6
申请日:2015-05-06
Applicant: 北京大学深圳研究生院
Abstract: 一种深度图/视差图的后处理方法和装置,在进行不整齐边缘区域检测时,采用边缘信息与分块信息相结合的思路。对彩色图像进行图像分块时,先对彩色图像进行超像素分割;将灰度范围分为预设个区间,对于每个超像素,统计得到所有像素点落在所述区间内的直方图;判断当前超像素中,区间分布值最大的区间所含的像素数与当前超像素中的全部像素数的比值是否小于第一阈值,如果是,则采用基于颜色分块的方法对当前超像素进行进一步分割。在保证图像处理速度的同时,提高彩色图像分割的准确性,从而提高不整齐边缘区域检测的准确性。
-
公开(公告)号:CN108319686A
公开(公告)日:2018-07-24
申请号:CN201810101127.0
申请日:2018-02-01
Applicant: 北京大学深圳研究生院
Abstract: 本发明公布了一种基于受限文本空间的对抗性跨媒体检索方法,设计特征提取网络、特征映射网络和模态分类器,通过学习得到受限文本空间,提取适用于跨媒体检索的图像和文本特征,实现图像特征从图像空间到文本空间的映射;通过对抗性训练机制使得学习过程中不断减小不同模态数据之间特征分布的差异性;由此实现跨媒体检索。本发明能够更好地拟合人类在跨媒体检索任务中的行为表现;得到更适用于跨媒体检索任务的图像和文本特征,弥补了预训练特征在表达能力上的欠缺;引入对抗性学习的机制,通过模态分类器与特征映射网络之间的最大最小博弈,进一步提升了检索准确率。
-
-
-
-
-
-
-
-
-