公开(公告)号：DE112021001968T5

公开(公告)日：2023-01-19

申请号：DE112021001968

申请日：2021-06-04

Applicant: IBM

Inventor： TSAI HSIN YU ,  KARIYAPPA SANJAY

IPC: G06N3/08 ,  G06N3/063

Abstract: Es wird eine Driftregularisierung zum Entgegenwirken einer Variation in Driftkoeffizienten in analogen neuronalen Netzen bereitgestellt. Es wird ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes veranschaulicht. Eine Mehrzahl von Gewichten wird nach dem Zufallsprinzip initialisiert. Jedes aus der Mehrzahl von Gewichten entspricht einer Synapse eines künstlichen neuronalen Netzes. Mindestens eine Reihe von Eingangssignalen wird in das künstliche neuronale Netz eingegeben. Mindestens eine Reihe von Ausgangssignalen wird durch das künstliche neuronale Netz auf der Grundlage der mindestens einen Reihe von Eingangssignalen und der Mehrzahl von Gewichten bestimmt. Die mindestens eine Reihe von Ausgangssignalen wird mit Ground-Truth-Daten verglichen, um einen ersten Verlust zu bestimmen. Ein zweiter Verlust wird durch Hinzufügen einer Driftregularisierung zu dem ersten Verlust bestimmt. Die Driftregularisierung ist positiv korreliert mit einer Varianz der mindestens einen Reihe von Ausgangssignalen. Die Mehrzahl von Gewichten wird auf der Grundlage des zweiten Verlustes durch Rückwärtspropagierung aktualisiert.

公开(公告)号：AU2021291671A1

公开(公告)日：2022-11-17

申请号：AU2021291671

申请日：2021-06-04

Applicant: IBM

Inventor： TSAI HSINYU ,  KARIYAPPA SANJAY

IPC: G06N3/10

Abstract: A drift regularization is provided to counteract variation in drift coefficients in analog neural networks. A method of training an artificial neural network is illustrated. A plurality of weights is randomly initialized. Each of the plurality of weights corresponds to a synapse of an artificial neural network. At least one array of inputs is inputted to the artificial neural network. At least one array of outputs is determined by the artificial neural network based on the at least one array of inputs and the plurality of weights. The at least one array of outputs is compared to ground truth data to determine a first loss. A second loss is determined by adding a drift regularization to the first loss. The drift regularization is positively correlated to variance of the at least one array of outputs. The plurality of weights is updated based on the second loss by backpropagation.