公开(公告)号：KR101843079B1

公开(公告)日：2018-05-14

申请号：KR1020160123219

申请日：2016-09-26

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  강우현

IPC: G10L17/02

CPC classification number: G10L17/02 ,  G10L15/06 ,  G10L17/04 ,  G10L2015/0635

Abstract: 본발명은화자상호정보를활용한강인한 I-벡터추출기학습방법에관한것으로서, 보다구체적으로는, (1) 복수개의음성파일들로구성된학습데이터를사용하여서로다른 2 이상의화자각각에대하여종속적인가우시안혼합모델(Gaussian mixture model, GMM)을학습하고, 상기학습데이터를사용하여 I-벡터추출기를학습하는단계; (2) 상기단계 (1)에서학습된화자종속적가우시안혼합모델들을이용하여각 가우시안성분이갖는평균화자상호정보량을계산하는단계; 및 (3) 상기단계 (2)에서계산된각 가우시안성분이갖는평균화자상호정보량을상기단계 (1)에서학습된 I-벡터추출기에가중치로적용하여화자정보가부각된강인한 I-벡터를추출하는단계를포함하는것을그 구성상의특징으로한다. 또한, 본발명은화자상호정보를활용한강인한 I-벡터추출기학습시스템에관한것으로서, 보다구체적으로는, 복수개의음성파일들로구성된학습데이터를사용하여서로다른 2 이상의화자각각에대하여종속적인가우시안혼합모델(Gaussian mixture model, GMM)을학습하고, 상기학습데이터를사용하여 I-벡터추출기를학습하는학습부; 상기학습부에서학습된화자종속적가우시안혼합모델들을이용하여각 가우시안성분이갖는평균화자상호정보량을계산하는계산부; 및상기계산부에서계산된각 가우시안성분이갖는평균화자상호정보량을상기학습부에서학습된 I-벡터추출기에가중치로적용하여화자정보가부각된강인한 I-벡터를추출하는화자정보부각 I-벡터추출부를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는화자상호정보를활용한강인한 I-벡터추출기학습방법및 시스템에따르면, 각가우시안성분에대한화자와학습데이터프레임들의평균화자상호정보량을계산한후 계산된평균화자상호정보량을모든프레임및 전체화자에대하여평균을취하여각 가우시안성분이갖는평균화자상호정보량을계산하고, 이를가중치로서, I-벡터추출기의블락(block) 행렬에곱하는방식으로적용시킴으로써, I-벡터추출기를통해추출되는 I-벡터에화자에대한정보가많은가우시안성분의영향이부각될수 있도록하여, 보다높은성능을갖는특징벡터인강인한 I-벡터를추출할수 있다. 또한, 본발명에따르면, I-벡터추출기에가중치를적용하여 I-벡터의화자관련정보를부각시킴으로써, 화자이외의잡음, 마이크상태등의요소로인한변이성에강인한특징을추출할수 있어, 입력된음성길이가짧거나잡음이많은환경에서도화자의특징을효과적으로추출하여화자인식의성능을높일수 있다.

公开(公告)号：KR101749254B1

公开(公告)日：2017-06-20

申请号：KR1020150183294

申请日：2015-12-21

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  배수현 ,  최인규

IPC: G10L15/28 ,  G06N3/02 ,  G10L15/18

Abstract: 본발명은딥 러닝기반의통합음향정보인지시스템에관한것으로서, 보다구체적으로는음향이입력되는음향입력모듈, 상기음향입력모듈로부터입력되는음향신호를미리지정된제1 시간단위의프레임으로나누고, 분석된프레임정보를바탕으로음향이벤트를탐지하는음향이벤트탐지모듈, 및상기음향입력모듈로부터입력되는음향신호를미리지정된제2 시간단위(상기제1 시간단위보다긴 시간단위)의프레임으로나누고, 분석된프레임정보를바탕으로환경음을탐지하는환경음탐지모듈을포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는딥 러닝기반의통합음향정보인지시스템에따르면, 주변에서입력된음성신호를짧은시간단위로나누어분석하여음향이벤트를탐지하고, 보다긴 시간단위로나누어분석하여환경음을인지하며, 통합된두 정보를바탕으로주변환경을인지함으로써, 보다정확하게주변환경을인지할수 있다.

公开(公告)号：KR101706123B1

公开(公告)日：2017-02-13

申请号：KR1020150060946

申请日：2015-04-29

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수 ,  배수현 ,  강우현

IPC: G10L13/033 ,  G10L21/02

Abstract: 본발명은파라미터변경에의해음색을변환하는사용자맞춤형음성보정방법및 이를구현하는음성보정장치에관한것으로서, 보다구체적으로는, 사용자맞춤형음성보정장치가, (1) 원시음성데이터를입력받는단계; (2) 상기입력된원시음성데이터로부터피치, 특성파형(CW), 파워및 선스펙트럼주파수(LSF)를포함한음성파라미터들을추출하는단계; (3) 상기추출된음성파라미터들에대해, 미리설정된복수의특이음성이갖는제1 특징들을미리설정된정상음성이갖는제2 특징들로변경하는단계; 및 (4) 상기변경된제2 특징을갖는음성파라미터들에기초하여, 보정된음성데이터를합성하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는파라미터변경에의해음색을변환하는사용자맞춤형음성보정방법및 이를구현하는음성보정장치에따르면, 사용자맞춤형음성보정장치가, 원시음성데이터를입력받고, 입력된원시음성데이터로부터피치, 특성파형(CW), 파워및 선스펙트럼주파수(LSF)를포함한음성파라미터들을추출하며, 추출된음성파라미터들에대해, 미리설정된복수의특이음성이갖는제1 특징들을미리설정된정상음성이갖는제2 특징들로변경하고, 변경된제2 특징을갖는음성파라미터들에기초하여, 보정된음성데이터를합성함으로써, 쉰(hoarse) 음성, 거친(rough) 음성, 숨찬(breathy) 음성및 비음(nasal) 음성과같은특이목소리를분석및 개선할수 있고, 음색을차가운느낌또는따뜻한느낌으로변경할수 있다. 또한, 음성통화를통해식별되기어려운음성이나화자가갖고있는불만족스러운음성을, 또렷하거나원하는음색의음성으로변경할수 있게하고, 화자가갖는발성기관의신체적문제를보조할수 있으며, 사용자가어필하고싶은음색의음성을생성하게함으로써, 사용자의욕구에맞추어다양하게음성을보정할수 있다.

公开(公告)号：KR101535135B1

公开(公告)日：2015-07-24

申请号：KR1020130168578

申请日：2013-12-31

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수

IPC: G10L21/02

Abstract: 본발명은음향개선방법및 시스템에관한것으로서, 보다구체적으로는 (1) 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출하는단계; (2) 비음수행렬인수분해(NMF)에기반하여상기제1 신호로부터얻은값을이용하여신호대잡음비(SNR) 값을추정하며, 상기추정된신호대잡음비(SNR) 값을이용하여 MMSE-LSA 이득함수를구함으로써, 제2 신호를도출하는단계; 및 (3) 상기단계 (2)에서도출된제2 신호를이용하여, 다음시간프레임에서수행되는상기단계 (2)의비음수행렬인수분해에사용할기저(basis) 행렬을업데이트하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는비음수행렬인수분해및 기저행렬업데이트를이용한음향개선방법및 시스템에따르면, 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출한후에, 비음수행렬인수분해(NMF)에기반하여제1 신호로부터추정된음성과노이즈(제1 신호로부터얻은값)를바탕으로사전신호대잡음비(SNR) 값과사후신호대잡음비(SNR) 값을구하고, MMSE-LSA 이득함수를이용하여제2 신호를도출함으로써, 높은성능의음향향상기능을가진다. 또한, 본발명에따르면, 제2 신호를이용하여다음시간프레임에서수행되는비음수행렬인수분해에사용할기저행렬을업데이트함으로써, 올바른잡음모델을초깃값으로유지할수 있고, 음성존재확률값(SPP) 추정을통한업데이트속도결정하도록하여잡음환경변화속도에따라업데이트비율을자동으로계산하여적용함으로써, 불필요하게많은업데이트로인한오버피팅(overfitting) 등의악영향을끼지는것을방지할수 있다. 뿐만아니라, 본발명에따르면, MMSE-LSA 이득함수이용함으로써, 종래위너(Weiner) 필터형태의이득함수를이용하는것보다안정적인성능을이끌어낼수 있으며, 음성과잡음의크기가따로추정되어구해지므로종래 Decision Directe(DD)기법을사용하여잡음과음성의파워를추정하는것이아닌단순한스무딩기술(Smoothing technique)을사용하여개별적인파워를사용함으로써, 음향개선효과를더욱향상시킬수 있다.

公开(公告)号：KR1020150078831A

公开(公告)日：2015-07-08

申请号：KR1020130168578

申请日：2013-12-31

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  권기수

IPC: G10L21/02

CPC classification number: G10L21/02

Abstract: 본발명은음향개선방법및 시스템에관한것으로서, 보다구체적으로는 (1) 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출하는단계; (2) 비음수행렬인수분해(NMF)에기반하여상기제1 신호로부터얻은값을이용하여신호대잡음비(SNR) 값을추정하며, 상기추정된신호대잡음비(SNR) 값을이용하여 MMSE-LSA 이득함수를구함으로써, 제2 신호를도출하는단계; 및 (3) 상기단계 (2)에서도출된제2 신호를이용하여, 다음시간프레임에서수행되는상기단계 (2)의비음수행렬인수분해에사용할기저(basis) 행렬을업데이트하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는비음수행렬인수분해및 기저행렬업데이트를이용한음향개선방법및 시스템에따르면, 잡음과음성이섞인음향신호를통계적모델기반의음향개선기법을이용하여복소수값으로변환한제1 신호(pre-enhanced signal)를도출한후에, 비음수행렬인수분해(NMF)에기반하여제1 신호로부터추정된음성과노이즈(제1 신호로부터얻은값)를바탕으로사전신호대잡음비(SNR) 값과사후신호대잡음비(SNR) 값을구하고, MMSE-LSA 이득함수를이용하여제2 신호를도출함으로써, 높은성능의음향향상기능을가진다. 또한, 본발명에따르면, 제2 신호를이용하여다음시간프레임에서수행되는비음수행렬인수분해에사용할기저행렬을업데이트함으로써, 올바른잡음모델을초깃값으로유지할수 있고, 음성존재확률값(SPP) 추정을통한업데이트속도결정하도록하여잡음환경변화속도에따라업데이트비율을자동으로계산하여적용함으로써, 불필요하게많은업데이트로인한오버피팅(overfitting) 등의악영향을끼지는것을방지할수 있다. 뿐만아니라, 본발명에따르면, MMSE-LSA 이득함수이용함으로써, 종래위너(Weiner) 필터형태의이득함수를이용하는것보다안정적인성능을이끌어낼수 있으며, 음성과잡음의크기가따로추정되어구해지므로종래 Decision Directe(DD)기법을사용하여잡음과음성의파워를추정하는것이아닌단순한스무딩기술(Smoothing technique)을사용하여개별적인파워를사용함으로써, 음향개선효과를더욱향상시킬수 있다.

Abstract translation: 本发明涉及语音增强的方法和系统。 更具体地说，该方法包括以下步骤：（1）绘制从噪声和声音混合的声音信号转换的复数值的预增强信号; （2）估计信噪比并获得MMSE-LSA增益函数来绘制第二信号; 和（3）通过使用所绘制的第二信号来更新基矩阵。

公开(公告)号：KR1020150078510A

公开(公告)日：2015-07-08

申请号：KR1020130167932

申请日：2013-12-31

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  진유광

IPC: G10L21/0208

CPC classification number: G10L21/0216

Abstract: 본발명은잡음제거방법및 시스템에관한것으로서, 보다구체적으로는 (1) 적어도하나이상의마이크로부터음향신호를입력받는단계; (2) 상기단계 (1)에서입력받은음향신호에현재주파수또는현재시간과미리정해진범위로인접한주파수축또는시간축스펙트럼을통합하여확장된벡터를생성하는단계; 및 (3) 상기확장된벡터를잡음제거필터를통해신호처리하여잡음이제거된음향신호를도출하는단계를포함하는것을그 구성상의특징으로한다. 본발명에서제안하고있는주파수또는시간적상관관계를반영한잡음제거방법및 시스템에따르면, 입력받은음향신호에현재주파수또는현재시간과미리정해진범위로인접한주파수축또는시간축스펙트럼을통합하여확장된벡터를생성하고, 확장된벡터를잡음제거필터를통해신호처리하여잡음이제거된음향신호를도출함으로써, 현재주파수와현재시간의입력신호뿐 아니라지난시간과인접한주파수의입력신호성분들을총체적으로고려하여보다정확하고효과적인잡음제거가가능하다. 또한, 본발명에따르면, 확장된벡터에대한 PSD(Power Spectral Density) 행렬을연산하고, 미리정해진파라미터화된필터를연산된 PSD 행렬에적용하여잡음이제거된음향신호를도출하되, PSD(Power Spectral Density) 행렬은, PSD 행렬에기반하여추정된음성존재확률(SPP)을이용하여매 프레임마다업데이트함으로써, 더욱안정적으로잡음제거가가능하다.

Abstract translation: 本发明涉及一种用于消除噪声的方法和系统，更具体地说，涉及一种方法，包括：（1）从至少一个麦克风接收声音信号的步骤; （2）通过将从步骤（1）接收的声音信号与在预定范围内与当前频率或当前时间相邻的频率轴或时间轴频谱积分来产生扩展矢量的步骤; 和（3）通过用噪声去除滤波器对扩展向量进行信号处理来绘制除去噪声的声音信号的步骤。 基于本发明提出的基于频谱或时间相关性消除噪声的方法和系统被配置为通过将接收到的声音信号与在预定的时间内的当前频率或当前时间相邻的频率轴或时间轴频谱进行积分来生成扩展向量 通过使用噪声去除滤波器对扩展矢量进行信号处理来绘制无噪声的声音信号，因此通过一般考虑当前时间和当前时间以及接近过去时间的输入信号分量，可以更精确和有效地去除噪声 。 此外，根据本发明，通过计算扩展向量的功率谱密度（PSD）矩阵并将预定的参数化滤波器应用于所计算的PSD矩阵来绘制其中去除噪声的声音信号，其中PSD 通过使用基于PSD矩阵估计的声音存在概率（SPP）来更新每一帧，矩阵能够更可靠地消除噪声。

公开(公告)号：KR101432102B1

公开(公告)日：2014-08-21

申请号：KR1020110088928

申请日：2011-09-02

Applicant: 에스케이텔레콤 주식회사 ,  서울대학교산학협력단

Inventor： 김동건 ,  박성수 ,  김문기 ,  이상신 ,  정구익 ,  유재황 ,  김남수 ,  조기호 ,  최석재

IPC: H04L27/00

Abstract: 음향 신호 품질 개선 장치 및 방법이 개시된다. 본 발명의 실시예들은 원본 음향 신호의 주파수 변환 계수의 크기와 데이터가 삽입된 음향 신호의 주파수 변환 계수의 크기를 기초로 연산된 신호대잡음비(Signal to Noise Ratio: SNR)를 이용하여 상기 데이터가 삽입된 음향 신호의 주파수 변환 계수의 크기를 적정 값으로 조정함으로써, 상기 원본 음향 신호에 데이터가 삽입됨으로 인해 발생하는 품질 저하를 최소화할 수 있는 기술에 대한 것이다.

公开(公告)号：KR101145440B1

公开(公告)日：2012-05-15

申请号：KR1020100012142

申请日：2010-02-09

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  한창우 ,  김성수 ,  강신재

IPC: G10L15/08 ,  G10L15/10 ,  G10L15/14

Abstract: PURPOSE: A foreign language speaking evaluation method and system using a speech recognition technique are provided to accurately evaluate the pronunciation of a foreign language by removing unnecessary habit through normalization. CONSTITUTION: A voice input module(100) inputs voice of a learner and a native speaker. A preprocessing module(200) preprocesses evaluation of the voice of a learner. A foreign language speaking estimating module(700) evaluates foreign speaking performance of a learner.

公开(公告)号：KR101111257B1

公开(公告)日：2012-02-22

申请号：KR1020090090566

申请日：2009-09-24

Applicant: 서울대학교산학협력단 ,  대우조선해양 주식회사

Inventor： 이규열 ,  김종원 ,  김태완 ,  장도영 ,  손동훈 ,  김남수

IPC: B23K37/02

Abstract: 본 발명의 목적은 여러 방향으로 정교한 움직임이 가능하고 용접 부위의 형상 오차를 감안하여 용접 품질이 양호하게 용접 작업을 수행할 수 있는 자동 용접 로봇을 제공하는 것이다. 이를 위하여 본 발명에서는, 용접봉을 포함하는 본체; 용접 부위에 대향한 상태에서 용접 부위에 대해 좌우 방향으로 상기 본체가 이동할 수 있도록 상기 본체와 슬라이딩 가능하게 결합된 제1 가이드 부재; 상기 제1 가이드 부재의 연장 방향과 직교하는 방향으로 연장된 제2 가이드 부재; 상기 제1 가이드 부재와 고정되고, 상기 제2 가이드 부재를 따라 슬라이딩 가능하게 결합된 슬라이딩 블록; 및 상기 제2 가이드 부재 상에서 제2 가이드 부재를 따라 이동 가능하고, 상기 제2 가이드 부재의 특정 위치에 고정될 수 있으며, 상기 제2 가이드 부재를 용접 부위에 고정하는 지지 유닛을 포함하는 자동 용접 로봇을 제공한다.
용접 로봇, 론지

公开(公告)号：KR101081050B1

公开(公告)日：2011-11-09

申请号：KR1020100040367

申请日：2010-04-29

Applicant: 서울대학교산학협력단

Inventor： 김남수 ,  진유광

IPC: G10L25/78 ,  G10L25/84 ,  G10L21/0272

Abstract: PURPOSE: A method and a system for detecting a target signal based on a non-negative matrix factorization are provided to obtain stable result. CONSTITUTION: A target basic vector is extracted(S200). A target subspace is constituted using the extracted target base vector(S300). A received input signal is projected to a constituted target subspace. A projection error is calculated(S500). It is determined whether the target signal exists or not based on the calculated projection error(S700).

Abstract translation: 目的：提供一种基于非负矩阵因子分解检测目标信号的方法和系统，以获得稳定的结果。 构成：提取目标基本矢量（S200）。 使用提取的目标基本向量构成目标子空间（S300）。 接收到的输入信号被投影到构成的目标子空间。 计算投影误差（S500）。 基于计算出的投影误差确定目标信号是否存在（S700）。