公开(公告)号：CN110837835A

公开(公告)日：2020-02-25

申请号：CN201911038568.1

申请日：2019-10-29

Applicant: 华中科技大学

Inventor： 刘文予 ,  白翔 ,  许永超 ,  王豪 ,  卢普 ,  张辉 ,  杨明锟 ,  何梦超 ,  王永攀

IPC: G06K9/34 ,  G06K9/46 ,  G06K9/62

Abstract: 本发明公开了一种基于边界点检测的场景文本端到端识别方法，通过特征金字塔网络提取文本特征，用于区域提取网络生成候选文本框；然后通过多方向矩形检测网络检测文本实例的更为精准的多方向包围盒；其次在多方向包围盒内检测文本的上下两条边界点序列；最后利用检测到的边界点序列将任意形状的文本转化为水平文本供后续的基于注意力机制的序列识别网络进行识别，最后利用集束搜索算法找到给定词典中预测序列的最匹配单词得到最终的文本识别结果。该方法可以在不需要字符级别的标注情况下同时检测和识别自然图像中任意形状的场景文本，包括水平文本、多方向文本和曲形文本，并且可以完全地进行端到端训练。

公开(公告)号：CN110837835B

公开(公告)日：2022-11-08

申请号：CN201911038568.1

申请日：2019-10-29

Applicant: 华中科技大学

Inventor： 刘文予 ,  白翔 ,  许永超 ,  王豪 ,  卢普 ,  张辉 ,  杨明锟 ,  何梦超 ,  王永攀

IPC: G06V30/148 ,  G06V10/44 ,  G06V30/18 ,  G06V10/774 ,  G06V30/19 ,  G06V10/764

Abstract: 本发明公开了一种基于边界点检测的场景文本端到端识别方法，通过特征金字塔网络提取文本特征，用于区域提取网络生成候选文本框；然后通过多方向矩形检测网络检测文本实例的更为精准的多方向包围盒；其次在多方向包围盒内检测文本的上下两条边界点序列；最后利用检测到的边界点序列将任意形状的文本转化为水平文本供后续的基于注意力机制的序列识别网络进行识别，最后利用集束搜索算法找到给定词典中预测序列的最匹配单词得到最终的文本识别结果。该方法可以在不需要字符级别的标注情况下同时检测和识别自然图像中任意形状的场景文本，包括水平文本、多方向文本和曲形文本，并且可以完全地进行端到端训练。

公开(公告)号：CN112836798A

公开(公告)日：2021-05-25

申请号：CN202110126481.0

申请日：2021-01-29

Applicant: 华中科技大学

Inventor： 白翔 ,  杨明锟

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62 ,  G06F17/18

Abstract: 本发明公开了一种针对场景文字识别的非定向式白盒对抗攻击方法，在输入图像中加入人眼难以察觉的噪声，使文字识别算法得到和原来截然不同的识别结果，从而达到攻击场景文字识别网络模型的效果。区别于一般物体的识别，文字识别的结果是字符序列，所以现有的对抗攻击方法不能直接被应用到场景文字识别中。所以，首先将单物体分类的对抗攻击算法中的目标函数，修改成序列形式；为了加快生成对抗样本，引入阶跃函数，一旦对抗样本的识别结果中，有一个字符和原图的识别结果不同，目标函数的惩罚为零；此外，考虑到不同样本的攻击难易程度不一样，越容易被识别正确的样本，越难被攻击，所以在目标函数中引入识别得分，从而得到扰动更小的对抗样本。