公开(公告)号：CN116958690A

公开(公告)日：2023-10-27

申请号：CN202310939560.2

申请日：2023-07-28

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  许亚楠 ,  孙伟

IPC: G06V10/764 ,  G06T1/00 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明公开了基于CNN的HVS‑JND谱残差网络鲁棒水印方法，将载体图像与原始水印输入水印编码器中，生成嵌入水印的编码图像；将编码图像和载体图像分两路输入HVS‑JND感知分类鉴别器中，判别嵌入水印的编码图像是有损图像还是无损图像，若图像有损，计算损失函数，并更新水印编码器的参数，直至获得无感损失编码图像并输入水印解码器中，得到解码水印；根据原始水印与解码水印，计算损失函数，并更新水印编码器、HVS‑JND感知分类鉴别器、解码器的参数；本发明所设计的方法使载密图像拥有很高的不可见性和很好的视觉质量；通过引入谱残差网络，提升了水印的透明性和鲁棒性，具有现实意义和良好的应用前景。

公开(公告)号：CN116664782A

公开(公告)日：2023-08-29

申请号：CN202310947466.1

申请日：2023-07-31

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  陈超 ,  孙伟 ,  张小娜

IPC: G06T17/00 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于融合体素的神经辐射场三维重建方法，包括：在卷积神经网络中获取图像的二维特征，生成深度图；聚合相邻图像的二维特征和粗阶段MLP计算的特征，生成由体素表示的局部辐射场；基于递归神经网络，根据权重将局部辐射场融合到世界坐标系下生成全局辐射场，并不断更新权重；将生成的全局辐射场输入NeRF渲染器内，以获得每个点的坐标和附近的点密度值；将全局辐射场根据深度图和体密度阈值过滤后输入体积渲染器内进行体渲染，不断优化损失，直至训练完成，得到三维重建模型。本发明通过融合每个视图生成的局部辐射场来增强全局信息的获取，再根据深度图和体素的体密度筛选来减少多余部分，提高训练效率。

公开(公告)号：CN113837048B

公开(公告)日：2023-08-01

申请号：CN202111090480.1

申请日：2021-09-17

Applicant: 南京信息工程大学

Inventor： 孙伟 ,  徐凡 ,  张小瑞 ,  胡亚华 ,  代广昭 ,  左军 ,  赵畅 ,  纪锦 ,  戴亮 ,  常鹏帅

IPC: G06V20/58 ,  G06V10/40 ,  G06V10/74 ,  G06V10/762 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了基于少样本注意力的车辆重识别方法，所述方法包括步骤：将车辆图片输入到预先训练好的少样本注意力模块FSAM中，得到注意力图；将目标域图片输入特征提取网络F‑Net，获取特征图，并通过特征图整合模块FMIM进行整合，得到新特征图；通过计算注意力图与新特征图两者的距离，根据距离大小输出相似度最高的车辆图片；本发明有效地解决了传统方法需要大量车辆图片来训练网络的问题，不仅增强了网络的泛化能力，还提高了网络的效率和车辆重识别的精确度。

公开(公告)号：CN110096818B

公开(公告)日：2023-07-25

申请号：CN201910373465.4

申请日：2019-05-06

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  徐千雄 ,  孙伟 ,  宋爱国 ,  赵沁平 ,  牛建伟

IPC: G06F30/20 ,  G06T17/20 ,  G06F119/14

Abstract: 本发明公开了一种软组织监督变形算法，包括步骤第一次数据搜索并复制、局部细化网格、第二次数据搜索并修正、网格变形。本发明中的求解状态方程步骤与机器学习相结合，通过构造目标函数，得到最优参数，以带入目标函数的形式代替循环求解，大大减少了计算量，本发明使用的最小二乘法以及梯度下降算法，得到最小化的损失函数和模型参数值，提高了精确度。

公开(公告)号：CN112766353B

公开(公告)日：2023-07-21

申请号：CN202110040859.5

申请日：2021-01-13

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  陈旋 ,  孙伟 ,  宋爱国

IPC: G06F16/583 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种加强局部注意的双分支车辆再识别方法，包括以下步骤：(1)预训练ResNet50网络，并将其最后的下采样步长设置为1；(2)利用ResNet50的Layer3、Layer4搭建上分支；(3)将Layer4提出的特征沿纵向均匀分成三个部分，对每个部分的像素做随机丢弃操作，搭建下分支；(4)用三元组与焦点损失训练双分支模型；(5)使用训练好的网络模型，提取待查询与图像库图像特征；(6)计算待查询与图像库车辆图像的相似度，返回图像库中相似度靠前的车辆图像。本发明提出双分支车辆再识别方法，上分支提取车辆全局特征，下分支加强了对局部特征的注意力，增加车辆图像特征的区分程度和辨识度，适合复杂交通场景下跨摄像头的车辆再识别，提高车辆再识别的效率。

公开(公告)号：CN111341449B

公开(公告)日：2023-06-23

申请号：CN202010114616.7

申请日：2020-02-25

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  吴海伦 ,  孙伟 ,  孙星明 ,  宋爱国

IPC: G16H50/50 ,  G06F30/20 ,  G06F111/04 ,  G06F119/14

Abstract: 本发明公开了一种虚拟血管介入手术训练的模拟方法，包括以下步骤：(1)使用基于点的方法对血管内部构建形变模型；(2)使用基于位置动力学法对血管内部节点施加距离约束、体积守恒约束和弹性势能守恒约束三种约束条件；(3)使用无网格移动最小二乘法构建从血管内部到血管表面的映射模型；本发明的方法不仅无需网格拓扑结构的初始划分和重构，甚至避免了采用网格法在产生大形变时的网格扭曲或畸形问题，而且考虑了血管的弹性特性和体积守恒特性，并提高了软组织形变模型的计算精度、稳定性和实时性。

公开(公告)号：CN113808006B

公开(公告)日：2023-05-23

申请号：CN202111019790.4

申请日：2021-09-01

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  蒋炎 ,  孙伟 ,  孙星明 ,  徐枫

IPC: G06T3/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于二维图像重建三维网格模型的方法及装置，所述方法包括：输入二维图像到ResNet50中，通过ResNet50的Stage1，Stage2和Stage3提取图像二维信息，对这些信息进行特征连接；通过相机参数计算输入图像平面的2D投影，然后通过双线性插值法得到感知特征；通过隐式曲面算法生成初始椭球，从输入二维图像中汇集图像特征，结合图像特征和感知特征进行网格变形；通过上采样细化网格模型；利用损失函数促使系统生成粗略的三维模型；进行二次变换、三次变换生成较精细三维模型和精细的三维模型。本发明通过初始椭球进行三次变换，能够学习网格的多尺度和上下文信息，生成更加精细的三维模型。

公开(公告)号：CN113610711B

公开(公告)日：2023-05-23

申请号：CN202110879676.2

申请日：2021-08-02

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  徐枫 ,  孙伟 ,  孙星明 ,  夏志华 ,  付章杰 ,  袁程胜

IPC: G06T3/40 ,  G06T17/00 ,  G06V10/40 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种单图像引导的三维表面重建方法及装置，首先，建立一个预定义的顶点分布均匀的椭球体网格；其次，采用轻量级网络AlexNet的主体架构提取输入图像特征：将AlexNet后三个卷积池化层生成的特征图像拼接，采用双线性插值法，寻找到原图像投影点在各个特征图像上的特征点；提取特征点邻近四个像素的图像特征向量并串联；然后，构建基于三维图卷积神经网络的网格变形模块，将预定义的椭球体网格变形为与二维图像对应的三维模型；最后，增加网格顶点数量，优化表面细节，并通过最小化三维损失函数调整参数矩阵，生成三维网格模型。本发明生成了高精度的三维网格表面模型，能够预测出更丰富的三维表面细节。

公开(公告)号：CN113284037B

公开(公告)日：2023-05-23

申请号：CN202110690957.3

申请日：2021-06-22

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  孙逊 ,  孙星明 ,  孙伟 ,  宋爱国 ,  夏志华

IPC: G06T1/00 ,  G06T7/12 ,  G06T7/13 ,  G06T7/90 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于深度神经网络的陶瓷水印载体恢复方法，首先，基于Evo‑BiSeNet的图像分割网络，对预先获取的陶瓷三维图像进行检测，获取水印载体部位；其次，基于空间变换网络的水印载体平面化处理；最后，基于GAN的水印载体复原，恢复载体并提高水印的鲁棒性。本发明采用归一化激活层提高图像分割的实时性，利用卷积注意力机制对陶瓷表面不规则图像的细小边缘特征进一步优化提取，更有效的保留水印载体的信息；使用GAN对水印载体复原，其中包括对水印载体的鲁棒训练，提高水印的鲁棒性。

公开(公告)号：CN113470666B

公开(公告)日：2023-05-16

申请号：CN202110687228.2

申请日：2021-06-21

Applicant: 南京信息工程大学

Inventor： 张小瑞 ,  孙逊 ,  孙星明 ,  宋爱国

IPC: G10L19/018

Abstract: 本发明公开了基于两阶段嵌入的可逆鲁棒医学音频方法，包括：(1)通过频域变换函数将原始音频转换成两个独立的嵌入域：低频嵌入域和高频嵌入域；(2)采用鲁棒水印算法在低频嵌入域中嵌入水印，形成新低频嵌入域；(3)将新低频嵌入域和低频嵌入域之间的水印误差嵌入到高频嵌入域，形成新高频嵌入域；(4)将新低频嵌入域和新高频嵌入域通过频域变换函数的逆变换生成含水印音频；(5)对含水印音频进行水印信息的提取。本发明在音频不被攻击的情况下能够有效地提取水印信息并还原完整的音频，用于医学数据完整性、真实性认证；利用音频的连续性和采样点之间的相关性增强水印的鲁棒性，可逆水印中修改少量采样点，降低音频失真。