公开(公告)号：CN115510812A

公开(公告)日：2022-12-23

申请号：CN202211113312.4

申请日：2022-09-14

Applicant: 湖州师范学院

Inventor： 王瑞琴 ,  纪其顺 ,  黄熠旻 ,  万超艺

IPC: G06F40/126 ,  G06F40/211 ,  G06F40/216 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于改进Transformer模型的超长序列处理方法，该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤：S1.WSformer模型的预训练：S1.1采用序列分割方法将超长序列分割成小序列；S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码；S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码。该方法能够有效地降低长文本序列编码的时间成本，更加精确地刻画词与词之间的位置关系，实现了对长序列文本的有效建模，提高了预测精度和计算效率。