公开(公告)号：KR1020160128871A

公开(公告)日：2016-11-08

申请号：KR1020150060946

申请日：2015-04-29

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수 ,  배수현 ,  강우현

IPC: G10L13/033 ,  G10L21/02

Abstract: 본발명은파라미터변경에의해음색을변환하는사용자맞춤형음성보정방법및 이를구현하는음성보정장치에관한것으로서, 보다구체적으로는, 사용자맞춤형음성보정장치가, (1) 원시음성데이터를입력받는단계; (2) 상기입력된원시음성데이터로부터피치, 특성파형(CW), 파워및 선스펙트럼주파수(LSF)를포함한음성파라미터들을추출하는단계; (3) 상기추출된음성파라미터들에대해, 미리설정된복수의특이음성이갖는제1 특징들을미리설정된정상음성이갖는제2 특징들로변경하는단계; 및 (4) 상기변경된제2 특징을갖는음성파라미터들에기초하여, 보정된음성데이터를합성하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는파라미터변경에의해음색을변환하는사용자맞춤형음성보정방법및 이를구현하는음성보정장치에따르면, 사용자맞춤형음성보정장치가, 원시음성데이터를입력받고, 입력된원시음성데이터로부터피치, 특성파형(CW), 파워및 선스펙트럼주파수(LSF)를포함한음성파라미터들을추출하며, 추출된음성파라미터들에대해, 미리설정된복수의특이음성이갖는제1 특징들을미리설정된정상음성이갖는제2 특징들로변경하고, 변경된제2 특징을갖는음성파라미터들에기초하여, 보정된음성데이터를합성함으로써, 쉰(hoarse) 음성, 거친(rough) 음성, 숨찬(breathy) 음성및 비음(nasal) 음성과같은특이목소리를분석및 개선할수 있고, 음색을차가운느낌또는따뜻한느낌으로변경할수 있다. 또한, 음성통화를통해식별되기어려운음성이나화자가갖고있는불만족스러운음성을, 또렷하거나원하는음색의음성으로변경할수 있게하고, 화자가갖는발성기관의신체적문제를보조할수 있으며, 사용자가어필하고싶은음색의음성을생성하게함으로써, 사용자의욕구에맞추어다양하게음성을보정할수 있다.

公开(公告)号：KR101666930B1

公开(公告)日：2016-10-24

申请号：KR1020150060949

申请日：2015-04-29

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  강태균 ,  권기수 ,  이준엽 ,  김형용

IPC: G10L13/033 ,  G10L13/04

Abstract: 본발명은심화학습모델을이용한목표화자의적응형목소리변환방법및 이를구현하는음성변환장치에관한것으로서, 보다구체적으로는, 사용자맞춤형음성보정장치가, (1) 원시화자의음성문장을포함하는데이터베이스에저장된음성데이터에대하여, 파형보간법을이용하여, 음성문장각각의프레임에대해특징벡터들을추출하는단계; (2) 상기데이터베이스에저장된음성데이터에대하여, 각각의화자에대해서로다른값을갖는코드벡터들을추출하는단계; (3) 추출된특징벡터들및 코드벡터들을이용하여미리설정된딥 러닝모델을학습시키는단계; 및 (4) 학습된딥 러닝모델에, 상기원시화자의특징벡터및 코드벡터와, 목표화자의코드벡터를입력한결과에기초하여, 목표화자의음성을생성하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는심화학습모델을이용한목표화자의적응형목소리변환방법및 이를구현하는음성변환장치에따르면, 사용자맞춤형음성보정장치가, 원시화자의음성문장을포함하는데이터베이스에저장된음성데이터에대하여, 파형보간법을이용하여음성문장각각의프레임에대해특징벡터들을추출하고, 데이터베이스에저장된음성데이터에대하여, 각각의화자에대해서로다른값을갖는코드벡터들을추출하며, 추출된특징벡터들및 코드벡터들을이용하여미리설정된딥 러닝모델을학습시키고, 학습된딥 러닝모델에원시화자의특징벡터및 코드벡터와, 목표화자의코드벡터를입력한결과에기초하여, 목표화자의음성을생성함으로써, 상대적으로적은음성데이터만으로추출된목표화자의코드벡터를이용하여목표화자가발화하지않은문장들도목표화자의음성특징을반영하여새로운음성으로생성할수 있다. 또한, 추출되는특징벡터를이용하여화자에독립적인성분과비독립적인성분을구별함으로써, 화자에독립적인파라미터가추정에러에의해받는영향을감소시킬수 있다.

公开(公告)号：KR101620866B1

公开(公告)日：2016-05-13

申请号：KR1020140182741

申请日：2014-12-17

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  강태균 ,  권기수

IPC: G10L21/0272

CPC classification number: G10L21/0272 ,  G10L25/30 ,  G10L25/84 ,  Y10S707/99931

Abstract: 본발명은학습기법을적용한사전학습알고리즘기반의음원분리방법에관한것으로서, 보다구체적으로는 (1) 음원에대하여사전학습(Dictionary learning) 알고리즘을학습하는단계; (2) 음원을이용해혼합음원을생성하고, 상기혼합음원과타깃음원들사이의관계를학습하는단계; 및 (3) 상기단계 (2)에서학습된관계를이용해, 입력음원을타깃음원들로분리하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는학습기법을적용한사전학습알고리즘기반의음원분리방법에따르면, 사전학습알고리즘을이용하되, 혼합음원과타깃음원사이의관계를학습하고학습된관계를이용해입력음원을타깃음원들로분리함으로써, 타깃음원들이유사한특성을지닐때에도효과적으로음원분리를할 수있고, 다양한잡음특성을충분히반영하여우수한음원분리성능을가질수 있다.

Abstract translation: 本发明涉及一种基于字典学习算法分离声源的学习技术应用方法。 更具体地说，该方法包括：（1）关于声源学习字典学习算法的步骤; （2）通过使用声源来创建混合声源并学习混合声源与目标声源之间的关系的步骤; 以及（3）通过使用在步骤（2）中学到的关系将输入声源分离成目标声源的步骤。 根据本发明提出的基于字典学习算法分离声源的学习技术应用方法，即使目标声源具有类似的特征，也可以有效地分离声源，并且具有优良的声源分离性能 通过使用字典学习算法充分结合各种噪声特性，并通过学习混合声源和目标声源之间的关系并使用学习关系将输入声源分离成目标声源。

公开(公告)号：KR101706123B1

公开(公告)日：2017-02-13

申请号：KR1020150060946

申请日：2015-04-29

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수 ,  배수현 ,  강우현

IPC: G10L13/033 ,  G10L21/02

Abstract: 본발명은파라미터변경에의해음색을변환하는사용자맞춤형음성보정방법및 이를구현하는음성보정장치에관한것으로서, 보다구체적으로는, 사용자맞춤형음성보정장치가, (1) 원시음성데이터를입력받는단계; (2) 상기입력된원시음성데이터로부터피치, 특성파형(CW), 파워및 선스펙트럼주파수(LSF)를포함한음성파라미터들을추출하는단계; (3) 상기추출된음성파라미터들에대해, 미리설정된복수의특이음성이갖는제1 특징들을미리설정된정상음성이갖는제2 특징들로변경하는단계; 및 (4) 상기변경된제2 특징을갖는음성파라미터들에기초하여, 보정된음성데이터를합성하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는파라미터변경에의해음색을변환하는사용자맞춤형음성보정방법및 이를구현하는음성보정장치에따르면, 사용자맞춤형음성보정장치가, 원시음성데이터를입력받고, 입력된원시음성데이터로부터피치, 특성파형(CW), 파워및 선스펙트럼주파수(LSF)를포함한음성파라미터들을추출하며, 추출된음성파라미터들에대해, 미리설정된복수의특이음성이갖는제1 특징들을미리설정된정상음성이갖는제2 특징들로변경하고, 변경된제2 특징을갖는음성파라미터들에기초하여, 보정된음성데이터를합성함으로써, 쉰(hoarse) 음성, 거친(rough) 음성, 숨찬(breathy) 음성및 비음(nasal) 음성과같은특이목소리를분석및 개선할수 있고, 음색을차가운느낌또는따뜻한느낌으로변경할수 있다. 또한, 음성통화를통해식별되기어려운음성이나화자가갖고있는불만족스러운음성을, 또렷하거나원하는음색의음성으로변경할수 있게하고, 화자가갖는발성기관의신체적문제를보조할수 있으며, 사용자가어필하고싶은음색의음성을생성하게함으로써, 사용자의욕구에맞추어다양하게음성을보정할수 있다.

公开(公告)号：KR101535135B1

公开(公告)日：2015-07-24

申请号：KR1020130168578

申请日：2013-12-31

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수

IPC: G10L21/02

Abstract: 본발명은음향개선방법및 시스템에관한것으로서, 보다구체적으로는 (1) 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출하는단계; (2) 비음수행렬인수분해(NMF)에기반하여상기제1 신호로부터얻은값을이용하여신호대잡음비(SNR) 값을추정하며, 상기추정된신호대잡음비(SNR) 값을이용하여 MMSE-LSA 이득함수를구함으로써, 제2 신호를도출하는단계; 및 (3) 상기단계 (2)에서도출된제2 신호를이용하여, 다음시간프레임에서수행되는상기단계 (2)의비음수행렬인수분해에사용할기저(basis) 행렬을업데이트하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는비음수행렬인수분해및 기저행렬업데이트를이용한음향개선방법및 시스템에따르면, 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출한후에, 비음수행렬인수분해(NMF)에기반하여제1 신호로부터추정된음성과노이즈(제1 신호로부터얻은값)를바탕으로사전신호대잡음비(SNR) 값과사후신호대잡음비(SNR) 값을구하고, MMSE-LSA 이득함수를이용하여제2 신호를도출함으로써, 높은성능의음향향상기능을가진다. 또한, 본발명에따르면, 제2 신호를이용하여다음시간프레임에서수행되는비음수행렬인수분해에사용할기저행렬을업데이트함으로써, 올바른잡음모델을초깃값으로유지할수 있고, 음성존재확률값(SPP) 추정을통한업데이트속도결정하도록하여잡음환경변화속도에따라업데이트비율을자동으로계산하여적용함으로써, 불필요하게많은업데이트로인한오버피팅(overfitting) 등의악영향을끼지는것을방지할수 있다. 뿐만아니라, 본발명에따르면, MMSE-LSA 이득함수이용함으로써, 종래위너(Weiner) 필터형태의이득함수를이용하는것보다안정적인성능을이끌어낼수 있으며, 음성과잡음의크기가따로추정되어구해지므로종래 Decision Directe(DD)기법을사용하여잡음과음성의파워를추정하는것이아닌단순한스무딩기술(Smoothing technique)을사용하여개별적인파워를사용함으로써, 음향개선효과를더욱향상시킬수 있다.

公开(公告)号：KR1020150078831A

公开(公告)日：2015-07-08

申请号：KR1020130168578

申请日：2013-12-31

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수

IPC: G10L21/02

CPC classification number: G10L21/02

Abstract: 본발명은음향개선방법및 시스템에관한것으로서, 보다구체적으로는 (1) 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출하는단계; (2) 비음수행렬인수분해(NMF)에기반하여상기제1 신호로부터얻은값을이용하여신호대잡음비(SNR) 값을추정하며, 상기추정된신호대잡음비(SNR) 값을이용하여 MMSE-LSA 이득함수를구함으로써, 제2 신호를도출하는단계; 및 (3) 상기단계 (2)에서도출된제2 신호를이용하여, 다음시간프레임에서수행되는상기단계 (2)의비음수행렬인수분해에사용할기저(basis) 행렬을업데이트하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는비음수행렬인수분해및 기저행렬업데이트를이용한음향개선방법및 시스템에따르면, 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출한후에, 비음수행렬인수분해(NMF)에기반하여제1 신호로부터추정된음성과노이즈(제1 신호로부터얻은값)를바탕으로사전신호대잡음비(SNR) 값과사후신호대잡음비(SNR) 값을구하고, MMSE-LSA 이득함수를이용하여제2 신호를도출함으로써, 높은성능의음향향상기능을가진다. 또한, 본발명에따르면, 제2 신호를이용하여다음시간프레임에서수행되는비음수행렬인수분해에사용할기저행렬을업데이트함으로써, 올바른잡음모델을초깃값으로유지할수 있고, 음성존재확률값(SPP) 추정을통한업데이트속도결정하도록하여잡음환경변화속도에따라업데이트비율을자동으로계산하여적용함으로써, 불필요하게많은업데이트로인한오버피팅(overfitting) 등의악영향을끼지는것을방지할수 있다. 뿐만아니라, 본발명에따르면, MMSE-LSA 이득함수이용함으로써, 종래위너(Weiner) 필터형태의이득함수를이용하는것보다안정적인성능을이끌어낼수 있으며, 음성과잡음의크기가따로추정되어구해지므로종래 Decision Directe(DD)기법을사용하여잡음과음성의파워를추정하는것이아닌단순한스무딩기술(Smoothing technique)을사용하여개별적인파워를사용함으로써, 음향개선효과를더욱향상시킬수 있다.

Abstract translation: 本发明涉及语音增强的方法和系统。 更具体地说，该方法包括以下步骤：（1）绘制从噪声和声音混合的声音信号转换的复数值的预增强信号; （2）估计信噪比并获得MMSE-LSA增益函数来绘制第二信号; 和（3）通过使用所绘制的第二信号来更新基矩阵。