公开(公告)号：DE112021006221T5

公开(公告)日：2023-10-05

申请号：DE112021006221

申请日：2021-11-26

Applicant: IBM

Inventor： KURATA GAKUTO ,  SAON GEORGE ANDREI ,  KINGSBURY BRIAN

IPC: G10L15/16 ,  G06N3/02 ,  G10L13/00

Abstract: Es wird ein durch einen Computer implementiertes Verfahren zum Anpassen eines Wandlers eines rekurrenten neuronalen Netzwerks (RNN-T) bereitgestellt. Das durch einen Computer implementierte Verfahren umfasst Synthetisieren von Audiodaten einer ersten Domäne aus Textdaten einer ersten Domäne und Einfügen der synthetisierten Audiodaten einer ersten Domäne in einen trainierten Codierer des Wandlers eines rekurrenten neuronalen Netzwerks (RNN-T) in einem Ausgangszustand, wobei der Codierer unter Verwendung der synthetisierten Audiodaten einer ersten Domäne und der Textdaten einer ersten Domäne aktualisiert wird. Das durch einen Computer implementierte Verfahren umfasst weiterhin Synthetisieren von Audiodaten einer zweiten Domäne aus Textdaten einer zweiten Domäne und Einfügen der synthetisierten Audiodaten einer zweiten Domäne in den aktualisierten Codierer des Wandlers eines rekurrenten neuronalen Netzwerks (RNN-T), wobei das Vorhersagenetzwerk unter Verwendung der synthetisierten Audiodaten einer zweiten Domäne und der Textdaten einer zweiten Domäne aktualisiert wird. Das durch einen Computer implementierte Verfahren umfasst weiterhin Zurücksetzen des aktualisierten Codierers in den Ausgangszustand.

公开(公告)号：AU2021414510B2

公开(公告)日：2023-10-05

申请号：AU2021414510

申请日：2021-11-26

Applicant: IBM

Inventor： KURATA GAKUTO ,  SAON GEORGE ANDREI ,  KINGSBURY BRIAN

IPC: G10L15/16

Abstract: A computer-implemented method for customizing a recurrent neural network transducer (RNN-T) is provided. The computer implemented method includes synthesizing first domain audio data from first domain text data, and feeding the synthesized first domain audio data into a trained encoder of the recurrent neural network transducer (RNN-T) having an initial condition, wherein the encoder is updated using the synthesized first domain audio data and the first domain text data. The computer implemented method further includes synthesizing second domain audio data from second domain text data, and feeding the synthesized second domain audio data into the updated encoder of the recurrent neural network transducer (RNN-T), wherein the prediction network is updated using the synthesized second domain audio data and the second domain text data. The computer implemented method further includes restoring the updated encoder to the initial condition.

公开(公告)号：DE112021004199B4

公开(公告)日：2025-03-20

申请号：DE112021004199

申请日：2021-09-10

Applicant: IBM

Inventor： KURATA GAKUTO ,  SAON GEORGE ANDREI

IPC: G10L15/16 ,  G06N3/08 ,  G06N3/082 ,  G06N3/096 ,  G10L15/06

Abstract: Auf einem Computer implementiertes Verfahren zum Trainieren von Modellen, wobei das Verfahren umfasst:Trainieren (220) eines zweiten durchgängigen neuronalen Spracherkennungsmodells, das über eine bidirektionale Codierfunktion (520) verfügt, um dieselben Symbole aus einem Ausgabewahrscheinlichkeits-Gitter des zweiten durchgängigen neuronalen Spracherkennungsmodells auszugeben wie aus einem Ausgabewahrscheinlichkeits-Gitter eines trainierten ersten durchgängigen neuronalen Spracherkennungsmodells, das über eine unidirektionale Codierfunktion (420) verfügt; undErstellen eines dritten durchgängigen neuronalen Spracherkennungsmodells, das über eine unidirektionale Codierfunktion (420) verfügt, indem das dritte durchgängige Spracherkennungsmodell als Schüler in einem Wissensdestillations-Verfahren unter Verwendung des trainierten zweiten durchgängigen neuronalen Spracherkennungsmodells als Lehrer trainiert (230) wird, wobei das erste und das dritte durchgängige neuronale Spracherkennungsmodell Ausgabedaten von einer RNN-Umsetzungsfunktion in einem Datenstrom übertragen, und das zweite durchgängige neuronale Spracherkennungsmodell die Ausgabedaten offline bereitstellt.

公开(公告)号：AU2021414510A1

公开(公告)日：2023-06-22

申请号：AU2021414510

申请日：2021-11-26

Applicant: IBM

Inventor： KURATA GAKUTO ,  SAON GEORGE ANDREI ,  KINGSBURY BRIAN

IPC: G10L15/16

Abstract: A computer-implemented method for customizing a recurrent neural network transducer (RNN-T) is provided. The computer implemented method includes synthesizing first domain audio data from first domain text data, and feeding the synthesized first domain audio data into a trained encoder of the recurrent neural network transducer (RNN-T) having an initial condition, wherein the encoder is updated using the synthesized first domain audio data and the first domain text data. The computer implemented method further includes synthesizing second domain audio data from second domain text data, and feeding the synthesized second domain audio data into the updated encoder of the recurrent neural network transducer (RNN-T), wherein the prediction network is updated using the synthesized second domain audio data and the second domain text data. The computer implemented method further includes restoring the updated encoder to the initial condition.

公开(公告)号：AU2021246985A1

公开(公告)日：2022-08-18

申请号：AU2021246985

申请日：2021-03-19

Applicant: IBM

Inventor： KURATA GAKUTO ,  AUDHKHASI KARTIK

IPC: G10L15/02 ,  G10L15/06

Abstract: A technique for training a model is disclosed. A training sample including an input sequence of observations and a target sequence of symbols having length different from the input sequence of observations is obtained. The input sequence of observations is fed into the model to obtain a sequence of predictions. The sequence of predictions is shifted by an amount with respect to the input sequence of observations. The model is updated based on a loss using a shifted sequence of predictions and the target sequence of the symbols.

公开(公告)号：DE112020001853T5

公开(公告)日：2022-01-13

申请号：DE112020001853

申请日：2020-03-23

Applicant: IBM

Inventor： KURATA GAKUTO

IPC: G06N3/08 ,  G10L15/16

Abstract: Offenbart wird ein mittels Computer realisiertes Verfahren zum Trainieren eines Modells. Das Modell ist in der Lage, eine Historie eines oder mehrerer vorhergehender Elemente zu speichern, und enthält eine Vorhersagerichtung. Das Verfahren beinhaltet ein Erhalten einer Trainingssequenz von Elementen. Das Verfahren beinhaltet außerdem ein Aufteilen der Trainingssequenz in eine Mehrzahl von Teilen. Das Verfahren beinhaltet ferner ein Auswählen eines Teils der Mehrzahl der Teile je nach der Richtung des Modells, um abgeänderte Trainingsdaten zu erzeugen. Das Verfahren beinhalten ein Trainieren des Modells unter Verwendung der abgeänderten Trainingsdaten.