公开(公告)号：CN113177136B

公开(公告)日：2022-04-22

申请号：CN202110460027.9

申请日：2021-04-27

Applicant: 桂林电子科技大学

Inventor： 李优 ,  张志海 ,  常亮 ,  林煜明 ,  周娅

IPC: G06F16/65 ,  G06F16/683 ,  G06F40/211 ,  G06F40/216 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及音乐风格分类技术领域，涉及一种基于注意力的音频和歌词的多模态音乐风格分类方法，步骤如下：一、数据获取；二、音频预处理：先对音频数据采取Mel频谱特征提取，然后经过CNN网络得到音频特征；三、歌词预处理：先进行BERT预训练得到词向量，然后经过HAN网络得到歌词特征向量；四、attention模间融合：通过Attention模间融合，将获取的音频和歌词特征，进行交互融合获取融合的Attention注意力向量，再与音频和歌词特征向量拼接，获得包含音频和歌词各自模态特征，以及模态间融合特征的音乐风格特征；五、经过softmax层进行分类。本发明能较佳地对数据进行学习和分类。

公开(公告)号：CN113177136A

公开(公告)日：2021-07-27

申请号：CN202110460027.9

申请日：2021-04-27

Applicant: 桂林电子科技大学

Inventor： 李优 ,  张志海 ,  常亮 ,  林煜明 ,  周娅

IPC: G06F16/65 ,  G06F16/683 ,  G06F40/211 ,  G06F40/216 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及音乐风格分类技术领域，涉及一种基于注意力的音频和歌词的多模态音乐风格分类方法，步骤如下：一、数据获取；二、音频预处理：先对音频数据采取Mel频谱特征提取，然后经过CNN网络得到音频特征；三、歌词预处理：先进行BERT预训练得到词向量，然后经过HAN网络得到歌词特征向量；四、attention模间融合：通过Attention模间融合，将获取的音频和歌词特征，进行交互融合获取融合的Attention注意力向量，再与音频和歌词特征向量拼接，获得包含音频和歌词各自模态特征，以及模态间融合特征的音乐风格特征；五、经过softmax层进行分类。本发明能较佳地对数据进行学习和分类。