公开(公告)号：KR102159988B1

公开(公告)日：2020-09-25

申请号：KR1020180167980

申请日：2018-12-21

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  이준엽 ,  천성준 ,  최병진

IPC: G10L13/033 ,  G10L25/63 ,  G10L25/30 ,  G10L13/08 ,  G10L25/90 ,  G10L15/14

公开(公告)号：KR101666930B1

公开(公告)日：2016-10-24

申请号：KR1020150060949

申请日：2015-04-29

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  강태균 ,  권기수 ,  이준엽 ,  김형용

IPC: G10L13/033 ,  G10L13/04

Abstract: 본발명은심화학습모델을이용한목표화자의적응형목소리변환방법및 이를구현하는음성변환장치에관한것으로서, 보다구체적으로는, 사용자맞춤형음성보정장치가, (1) 원시화자의음성문장을포함하는데이터베이스에저장된음성데이터에대하여, 파형보간법을이용하여, 음성문장각각의프레임에대해특징벡터들을추출하는단계; (2) 상기데이터베이스에저장된음성데이터에대하여, 각각의화자에대해서로다른값을갖는코드벡터들을추출하는단계; (3) 추출된특징벡터들및 코드벡터들을이용하여미리설정된딥 러닝모델을학습시키는단계; 및 (4) 학습된딥 러닝모델에, 상기원시화자의특징벡터및 코드벡터와, 목표화자의코드벡터를입력한결과에기초하여, 목표화자의음성을생성하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는심화학습모델을이용한목표화자의적응형목소리변환방법및 이를구현하는음성변환장치에따르면, 사용자맞춤형음성보정장치가, 원시화자의음성문장을포함하는데이터베이스에저장된음성데이터에대하여, 파형보간법을이용하여음성문장각각의프레임에대해특징벡터들을추출하고, 데이터베이스에저장된음성데이터에대하여, 각각의화자에대해서로다른값을갖는코드벡터들을추출하며, 추출된특징벡터들및 코드벡터들을이용하여미리설정된딥 러닝모델을학습시키고, 학습된딥 러닝모델에원시화자의특징벡터및 코드벡터와, 목표화자의코드벡터를입력한결과에기초하여, 목표화자의음성을생성함으로써, 상대적으로적은음성데이터만으로추출된목표화자의코드벡터를이용하여목표화자가발화하지않은문장들도목표화자의음성특징을반영하여새로운음성으로생성할수 있다. 또한, 추출되는특징벡터를이용하여화자에독립적인성분과비독립적인성분을구별함으로써, 화자에독립적인파라미터가추정에러에의해받는영향을감소시킬수 있다.