公开(公告)号：DE112021004941B4

公开(公告)日：2025-04-24

申请号：DE112021004941

申请日：2021-10-28

Applicant: IBM

Inventor： RASCH MALTE JOHANNES ,  GOKMEN TAYFUN

IPC: G06N3/084 ,  G06N3/045 ,  G06N3/063 ,  G11C11/54

Abstract: Verfahren zum Trainieren eines künstlichen neuronalen Netzes, ANN, wobei das Verfahren aufweist:Speichern von Gewichtungswerten in einem Array von Einheiten von resistiven Verarbeitungseinheiten (12), RPU, wobei das Array von RPU-Einheiten (12) eine Gewichtungsmatrix (10) W des ANN mit m Zeilen und n Spalten darstellt, durch Speichern der Gewichtungswerte der Gewichtungsmatrix (10) W als resistive Werte der RPU-Einheiten in dem Array;Definieren der Gewichtungsmatrix (10) W so, dass sie eine Ausgabedimension aufweist, die kleiner als die Eingabedimension ist, so dass die Gewichtungsmatrix (10) W eine rechteckige Gestaltung aufweist; undUmwandeln (1010) der Gewichtungsmatrix (10) W von einer rechteckigen Gestaltung in eine quadratischere Gestaltung durch Wiederholen oder Verketten der rechteckigen Gestaltung der Gewichtungsmatrix (10) W, um eine Signalstärke eines Rückwärtsdurchlaufsignals zu erhöhen durch:Kopieren (1020) einer Eingabe von wiederholten Gewichtungselementen während eines Vorwärtszyklusdurchlaufs;Summieren (1030) von Ausgabeberechnungen von den wiederholten Gewichtungselementen, was in einer Ausgabe pro Zeile resultiert; undAktualisieren (1040) jedes der wiederholten Gewichtungselemente entsprechend einem rückwärts propagierten Fehler oder alternativ Aktualisieren (1040) nur eines der wiederholten Gewichtungselemente durch Festlegen aller Vorwärtswerte mit Ausnahme eines auf null während eines Aktualisierungsdurchlaufs.

公开(公告)号：DE112021006459T5

公开(公告)日：2023-09-28

申请号：DE112021006459

申请日：2021-10-25

Applicant: IBM

Inventor： RASCH MALTE JOHANNES ,  GOKMEN TAYFUN ,  KIM SEYOUNG

IPC: G06N3/065

Abstract: Eine Einheit, die ein Array von Zellen einer resistiven Verarbeitungseinheit (RPU), erste Steuerleitungen, die sich in einer ersten Richtung über das Array von RPU-Zellen erstrecken, und zweite Steuerleitungen, die sich in einer zweiten Richtung über das Array von RPU-Zellen erstrecken, aufweist. Eine Peripherie-Schaltungsanordnung, die eine Auslese-Schaltungsanordnung aufweist, ist mit den ersten und den zweiten Steuerleitungen verbunden. Ein Steuersystem generiert Steuersignale, um die Peripherie-Schaltungsanordnung zu steuern, eine erste Operation und eine zweite Operation an dem Array von RPU-Zellen durchzuführen. Die Steuersignale umfassen ein erstes Konfigurationssteuersignal, um die Auslese-Schaltungsanordnung für eine erste Hardware-Konfiguration zu konfigurieren, wenn die erste Operation an dem Array von RPU-Zellen durchgeführt wird, und ein zweites Konfigurationssteuersignal, um die Auslese-Schaltungsanordnung für eine zweite Hardware-Konfiguration zu konfigurieren, die sich von der ersten Hardware-Konfiguration unterscheidet, wenn die zweite Operation an dem Array von RPU-Zellen durchgeführt wird.

公开(公告)号：DE112020002547T5

公开(公告)日：2022-03-03

申请号：DE112020002547

申请日：2020-04-09

Applicant: IBM

Inventor： RASCH MALTE JOHANNES ,  GOKMEN TAYFUN

IPC: G06N3/08

Abstract: Fortschrittliche Rausch- und Signalverwaltungstechniken für RPU-Arrays während eines Trainierens eines ANN werden bereitgestellt. In einem Aspekt der Erfindung enthält ein Verfahren zum Trainieren eines ANN: Bereitstellen eines Arrays von RPU-Einheiten mit Vornormalisatoren und Nachnormalisatoren; Berechnen und Vornormalisieren eines Mittelwerts und einer Standardabweichung aller Elemente eines Eingabevektors x in das Array, die zu der Satzgruppe jedes der Vornormalisatoren gehören; und Berechnen und Nachnormalisieren des Mittelwerts µ und der Standardabweichung σ aller Elemente eines Ausgabevektors y, die zu der Satzgruppe jedes der Nachnormalisatoren gehören.