一种利用多层特征融合生成哈希码的方法及装置

    公开(公告)号:CN112559810B

    公开(公告)日:2022-04-08

    申请号:CN202011533344.0

    申请日:2020-12-23

    Applicant: 上海大学

    Abstract: 本发明公开了一种利用多层特征融合生产哈希码的方法及装置,包括:建立图文对的相似度矩阵;通过不同残差块的输出来获取不同层的特征,将所述不同层的特征转换为通道数和尺寸一致的特征图,然后进行融合,最后通过全局池化和全连接并离散化得到图像对应的哈希码;用多尺度融合模块为每个文本生成对应的多尺度BOW模型,然后通过卷积层获得不同尺度的特征并进行融合,最后通过全连接层得到文本对应的哈希码;设计损失函数;训练模型;利用训练得到的模型,将样本输入其中获得对应的哈希码。通过本发明,生成的哈希码辨别性更强,用于跨模态检索时可以有效地提高检索的平均准确率。

    一种基于分类的内容自适应VVC帧内编码快速划分方法

    公开(公告)号:CN114222133A

    公开(公告)日:2022-03-22

    申请号:CN202111504491.X

    申请日:2021-12-10

    Applicant: 上海大学

    Inventor: 杨超 舒超 安平

    Abstract: 本发明提供一种基于分类的内容自适应VCC帧内编码快速划分方法,包括:将待压缩视频分成若干个不同场景;对于每个不同的场景,所述场景内首帧用于模型的训练,场景内其他帧用训练好的模型进行预测;通过预测,将不能执行的划分方式移出候选模式队列;本发明结合支持向量机与场景切换检测算法,实现了在线训练、预测的分类算法,提供了稳定的加速性能和低码率损失,对训练样本的需求极小。

    基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

    公开(公告)号:CN109905778B

    公开(公告)日:2021-12-03

    申请号:CN201910003111.0

    申请日:2019-01-03

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法。对每个非结构化视频,将视频均匀切分为一小组片段,进行向量化表示。选取前n个片段为初始视频摘要,并通过组稀疏编码进行重构,获得初始字典和重构系数。用当前字典对下一片段进行重构并计算重构误差。若重构误差大于设定阈值,当前片段加入摘要。依次处理每个片段直到结束获得最终的字典和重构系数。根据稀疏重建系数,建立可扩展缩略。本发明以最小化视频片段单独稀疏性的同时最大化视频片段整体可分性为优化目标,对传统视频缩略方法进行有效扩展,建立了单个非结构化视频的缩略构建框架。可扩展缩略满足了不同用户的要求,增强了用户对关键内容的视觉体验。

    光场图像空间域超分辨率方法、系统、终端及存储介质

    公开(公告)号:CN113592716A

    公开(公告)日:2021-11-02

    申请号:CN202110906481.2

    申请日:2021-08-09

    Applicant: 上海大学

    Abstract: 本发明公开了一种光场图像空间域超分辨率方法、系统、终端及存储介质,包括:将视点图像按照角度位置分为多组,对应设置多个视点图像对齐方案;将不同角度位置的视点图像,以其自身作为待超分辨率的中心视点图像,利用基于频域图像金字塔分解的视差提取方法,对其周围不同预设对齐范围内的待对齐视点图像进行视差对齐,对齐至中心视点图像位置;将待训练视点图像先剪裁后下采样再对齐,然后进行训练,得到光场图像超分辨率模型;将对齐后的待测试视点图像输入到光场图像超分辨率模型中,预测得到空间域超分辨率后的视点图像。本发明,将基于相位的视点图像视差对齐与基于深度学习的光场图像超分辨率方法相结合,得到了质量更高的超分辨率结果。

    图像闭环检测方法及系统

    公开(公告)号:CN109902619B

    公开(公告)日:2021-08-31

    申请号:CN201910141189.9

    申请日:2019-02-26

    Applicant: 上海大学

    Abstract: 本发明提供了一种图像闭环检测方法及系统,该方法包括:对每一帧图像提取FAST角点,计算BRIEF算子;将BRIEF算子代入预先建立的词袋模型,得到算子对应的视觉单词;所述视觉单词用于建立对图像的向量描述;基于跟踪预测算法判断当前图像是否可能发生闭环,并预测可能发生的闭环位置,得到闭环候选集;通过视觉单词向量评估当前图像与闭环候选集中每一张图像相似程度,将闭环候选集中相似度最高的图像作为候选图像;对候选图像进行归一化处理,得到归一化后的图像;计算归一化后的图像的ORB全局算子,完成对候选图像的结构校验。本发明可有效加速检测算法,提供更准确的闭环检测性能。

    深度学习特征压缩和解压缩方法、系统及终端

    公开(公告)号:CN113163203A

    公开(公告)日:2021-07-23

    申请号:CN202110471687.7

    申请日:2021-04-29

    Applicant: 上海大学

    Inventor: 安平 王维茜

    Abstract: 本发明提供了一种深度学习特征压缩和解压缩方法、系统及终端,编码端对输入的原始特征进行紧凑空间变换,得到原始特征的紧凑特征表达;利用紧凑特征表达,计算特征中各通道的重要性系数,进行各通道的量化参数自适应分配;基于分配好的量化参数对不同通道进行非均匀量化,得到量化后的多通道特征图;对量化后的多通道特征图进行特征编码完成压缩。解码端解码得到反量化的多通道特征图;针对反量化的多通道特征图的不同量化级别进行性能自适应补偿;对补偿后的多通道特征图进行原始特征重建,完成对特征的解压缩。本发明编码端基于图像内容自适应分配量化参数,解码端基于量化级别自适应进行性能补偿,提升了非均匀量化对特征压缩的性能。

    基于视频的无人机识别与跟踪方法及装置

    公开(公告)号:CN111460968A

    公开(公告)日:2020-07-28

    申请号:CN202010231230.4

    申请日:2020-03-27

    Abstract: 本发明提供了一种基于视频的无人机识别与跟踪方法及装置,该方法包括:对收集的数据集逐个进行手工无人机的标注,获得多个型号且不同尺寸的无人机标注样本;以此数据集对基于YOLOv3的网络进行训练,得到训练后的深度学习目标检测模型;采用Retinex图像增强手段提高待检测的无人机视频的图像质量,通过深度学习目标检测模型识别待检测的无人机视频每一帧;基于Sort算法实现快速对视频中的无人机跟踪。本发明可以高鲁棒高精度识别视频中的无人机并跟踪无人机,并且当无人机图像不清晰时,可以进行图像增强,适用于各种复杂场景。

    基于蒙特卡洛法马尔可夫链的编码参数自适应调整方法

    公开(公告)号:CN108600756B

    公开(公告)日:2019-10-29

    申请号:CN201810424004.0

    申请日:2018-05-04

    Applicant: 上海大学

    Abstract: 本发明提供一种基于蒙特卡洛法马尔可夫链的编码参数自适应调整方法,进行编码参数初步评测,分析编码参数对性能和编码时间的影响,筛选出与编码性能和编码时间密切相关的编码参数。根据编码参数对编码时间和编码性能的影响,将参数分类。在给定的编码复杂度的范围下,在各种参数组合的配置之间随机选择并进行编码,当满足一定临界条件下则进行状态跳转,选择更优的参数组合替换当前的参数组合。本发明在不遍历全部编码参数组合的前提下,获取接近最优的编码参数配置。适用于编码器级别参数调整的优化,使用低复杂度配置的编码参数获取高复杂度编码参数的编码性能,或者在同一编码复杂度情况下获取更优的编码性能。

    一种基于手写文字识别的物流标签信息检测方法及系统

    公开(公告)号:CN110070090A

    公开(公告)日:2019-07-30

    申请号:CN201910338270.6

    申请日:2019-04-25

    Applicant: 上海大学

    Inventor: 安平 倪超 尤志翔

    Abstract: 本发明公开了一种基于手写文字识别的物流标签信息检测方法及系统,该方法包括:捕捉并提取出标签面单上包含手写汉字信息区域的标签图像;裁剪,去除标签信息区域图像边缘背景;校正倾角;预处理;构建二次判别函数分类器MQDF和深度置信网络DBN的融合模型;利用融合模型对汉字字符逐一进行分类识别,获取每个汉字分类信息,并将分类好的汉字进行合并,获取连续文字表达信息;按每个单独信息区域划分将对应信息导入到标签信息管理系统中。该系统包括:依次连接的限定图像区域采集模块、标签信息区域检测模块、标签信息区域提取与处理模块、手写汉字预处理与特征提取模块以及手写汉字信息识别模块。本发明缩短了提取时间,提高了分拣效率。

    基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

    公开(公告)号:CN109905778A

    公开(公告)日:2019-06-18

    申请号:CN201910003111.0

    申请日:2019-01-03

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于组稀疏编码的单个非结构化视频的可扩展缩略的方法。对每个非结构化视频,将视频均匀切分为一小组片段,进行向量化表示。选取前n个片段为初始视频摘要,并通过组稀疏编码进行重构,获得初始字典和重构系数。用当前字典对下一片段进行重构并计算重构误差。若重构误差大于设定阈值,当前片段加入摘要。依次处理每个片段直到结束获得最终的字典和重构系数。根据稀疏重建系数,建立可扩展缩略。本发明以最小化视频片段单独稀疏性的同时最大化视频片段整体可分性为优化目标,对传统视频缩略方法进行有效扩展,建立了单个非结构化视频的缩略构建框架。可扩展缩略满足了不同用户的要求,增强了用户对关键内容的视觉体验。

Patent Agency Ranking