公开(公告)号：AU2021296187A1

公开(公告)日：2022-10-27

申请号：AU2021296187

申请日：2021-06-10

Applicant: IBM

Inventor： KIM SEYOUNG ,  ONEN OGUZHAN MURAT ,  GOKMEN TAYFUN

IPC: G06N3/063 ,  G06N3/08

Abstract: Aspects of the invention include performing a stochastic update for a crossbar array by generating a set of stochastic pulses for a crossbar array, the crossbar array including a plurality of row wires and a plurality of column wires, the plurality of row wires including a first row wire and the plurality of column wires including a first column wire, wherein a three terminal device is coupled to the first row wire and the first column wire at a crosspoint of the first row wire and the first column wire, and wherein a resistivity of the three terminal device is modified responsive to a coincidence of pulses from the set of stochastic pulses at the crosspoint of the first row and the first column, and wherein at least one terminal in the three terminal device is floating.

公开(公告)号：DE112019000437B4

公开(公告)日：2022-10-20

申请号：DE112019000437

申请日：2019-04-01

Applicant: IBM

Inventor： KIM SEYOUNG ,  GOKMEN TAYFUN

IPC: G06N3/08 ,  G06N3/04 ,  G06N3/063

Abstract: Einheit einer resistiven Verarbeitungseinheit (RPU), aufweisend:eine Gewichtungsaktualisierungs-Akkumulationsschaltung mit einem ersten Eingang, der mit einer Aktualisierungszeilen-Steuerleitung verbunden ist, und mit einem zweiten Eingang, der mit einer Aktualisierungsspalten-Steuerleitung verbunden ist;eine Gewichtungsaktualisierungs-Steuerschaltung, die mit einem Ausgang der Gewichtungsaktualisierungs-Akkumulationsschaltung verbunden ist; undeine einstellbare resistive Einheit, die an die Gewichtungsaktualisierungs-Steuerschaltung gekoppelt ist und mit einer Lesezeilen-Steuerleitung und einer Lesespalten- Steuerleitung verbunden ist;wobei die Gewichtungsaktualisierungs-Akkumulationsschaltung konfiguriert ist, um (i) einen Gewichtungsaktualisierungs-Akkumulationswert hijzu verwalten und den Gewichtungsaktualisierungs-Akkumulationswert hijdurch eine Einheit eines Aktualisierungswerts Δh in Reaktion auf jede erkannte Übereinstimmung von stochastischen Bitströmen von Eingangsvektoren anzupassen, die an die Aktualisierungszeilen- und Aktualisierungsspalten-Steuerleitungen angelegt werden, und (ii) ein Gewichtungsaktualisierungs-Steuersignal an die Gewichtungsaktualisierungs-Steuerschaltung in Reaktion auf den akkumulierten Gewichtungswert hijauszugeben, der einen vordefinierten Schwellenwert erreicht; undwobei die Gewichtungsaktualisierungs-Steuerschaltung konfiguriert ist, um einen Leitfähigkeitspegel der einstellbaren resistiven Einheit durch eine Einheit eines Leitfähigkeitswerts Δg in Reaktion auf das Gewichtungsaktualisierungs-Steuersignal anzupassen, das von der Gewichtungsaktualisierungs-Akkumulationsschaltung ausgegeben wird, wobei die eine Einheit des Leitfähigkeitswerts Δg einer Einheit eines Gewichtungswerts Δw der RPU-Einheit entspricht.

公开(公告)号：DE112019005119T5

公开(公告)日：2021-07-22

申请号：DE112019005119

申请日：2019-09-30

Applicant: IBM

Inventor： KIM SEYOUNG ,  KIM HYUNGJUN ,  GOKMEN TAYFUN ,  RASCH MALTE

IPC: G06N3/06

Abstract: Es werden Nullpunkt-Verschiebungstechniken in analogen Kreuzungspunktanordnungen bereitgestellt. In einem Aspekt umfasst eine analoge anordnungsbasierte Vektor-Matrix-Multiplikation Folgendes: eine Gewichtungs-Matrix, die mit einer Referenzen-Matrix verbunden ist, die jeweils eine Kreuzschienenanordnung (802, 804) mit einem Satz von leitfähigen Zeilendrähten (806a, 806b) und einem Satz von leitfähigen Spaltendrähten (808a, 808b), die den Satz von leitfähigen Zeilendrähten (806a, 806b) kreuzen, sowie optimierbare Kreuzungspunkteinheiten (810a, 810b) an Kreuzungspunkten des Satzes von leitfähigen Spaltendrähten (808a, 808b) und des Satzes von leitfähigen Zeilendrähten (806a, 806b) umfassen. Es wird auch ein Verfahren für eine analoge anordnungsbasierte Vektor-Matrix-Datenverarbeitung bereitgestellt, das Folgendes umfasst: Anlegen von wiederholten Spannungsimpulsen an die Kreuzungspunkteinheiten (810a) in der Gewichtungs-Matrix, bis alle Kreuzungspunkteinheiten (810a) in der Gewichtungs-Matrix auf ihren eigenen Symmetriepunkt konvergieren; und Kopieren von Leitwerten für jede Kreuzungspunkteinheit (810a) von der Gewichtungs-Matrix in die Referenzen-Matrix.

公开(公告)号：DE112018000723T5

公开(公告)日：2019-10-24

申请号：DE112018000723

申请日：2018-03-13

Applicant: IBM

Inventor： GOKMEN TAYFUN ,  ONEN OGUZHAN MURAT

IPC: G06N3/08

Abstract: Bereitgestellt werden ein durch einen Computer realisiertes Verfahren und ein Computerverarbeitungssystem für eine Aktualisierungsverwaltung für ein neuronales Netzwerk. Das Verfahren beinhaltet ein Durchführen eines isotropen Aktualisierungsprozesses für das neuronale Netzwerk unter Verwendung einer resistiven Verarbeitungseinheit. Der isotrope Aktualisierungsprozess verwendet einen Multiplikanden und einen Multiplikator aus einer Multiplikationsoperation. Der Durchführungsschritt beinhaltet ein Skalieren des Multiplikanden und des Multiplikators, so dass sie eine gleiche Größenordnung aufweisen.

公开(公告)号：DE112021006459T5

公开(公告)日：2023-09-28

申请号：DE112021006459

申请日：2021-10-25

Applicant: IBM

Inventor： RASCH MALTE JOHANNES ,  GOKMEN TAYFUN ,  KIM SEYOUNG

IPC: G06N3/065

Abstract: Eine Einheit, die ein Array von Zellen einer resistiven Verarbeitungseinheit (RPU), erste Steuerleitungen, die sich in einer ersten Richtung über das Array von RPU-Zellen erstrecken, und zweite Steuerleitungen, die sich in einer zweiten Richtung über das Array von RPU-Zellen erstrecken, aufweist. Eine Peripherie-Schaltungsanordnung, die eine Auslese-Schaltungsanordnung aufweist, ist mit den ersten und den zweiten Steuerleitungen verbunden. Ein Steuersystem generiert Steuersignale, um die Peripherie-Schaltungsanordnung zu steuern, eine erste Operation und eine zweite Operation an dem Array von RPU-Zellen durchzuführen. Die Steuersignale umfassen ein erstes Konfigurationssteuersignal, um die Auslese-Schaltungsanordnung für eine erste Hardware-Konfiguration zu konfigurieren, wenn die erste Operation an dem Array von RPU-Zellen durchgeführt wird, und ein zweites Konfigurationssteuersignal, um die Auslese-Schaltungsanordnung für eine zweite Hardware-Konfiguration zu konfigurieren, die sich von der ersten Hardware-Konfiguration unterscheidet, wenn die zweite Operation an dem Array von RPU-Zellen durchgeführt wird.

公开(公告)号：AU2021271202A1

公开(公告)日：2022-11-10

申请号：AU2021271202

申请日：2021-04-13

Applicant: IBM ,  UNIV RAMOT

Inventor： HORESH LIOR ,  ONEN OGUZHAN ,  AVRON HAIM ,  GOKMEN TAYFUN ,  KALANTZIS VASILEIOS ,  UBARU SHASHANKA

IPC: G06G5/00

Abstract: A computer-implemented method is presented for performing matrix sketching by employing an analog crossbar architecture. The method includes low rank updating a first matrix for a first period of time, copying the first matrix into a dynamic correction computing device, switching to a second matrix to low rank update the second matrix for a second period of time, as the second matrix is low rank updated, feeding the first matrix with first stochastic pulses to reset the first matrix back to a first matrix symmetry point, copying the second matrix into the dynamic correction computing device, switching back to the first matrix to low rank update the first matrix for a third period of time, and as the first matrix is low rank updated, feeding the second matrix with second stochastic pulses to reset the second matrix back to a second matrix symmetry point.

公开(公告)号：DE112020002547T5

公开(公告)日：2022-03-03

申请号：DE112020002547

申请日：2020-04-09

Applicant: IBM

Inventor： RASCH MALTE JOHANNES ,  GOKMEN TAYFUN

IPC: G06N3/08

Abstract: Fortschrittliche Rausch- und Signalverwaltungstechniken für RPU-Arrays während eines Trainierens eines ANN werden bereitgestellt. In einem Aspekt der Erfindung enthält ein Verfahren zum Trainieren eines ANN: Bereitstellen eines Arrays von RPU-Einheiten mit Vornormalisatoren und Nachnormalisatoren; Berechnen und Vornormalisieren eines Mittelwerts und einer Standardabweichung aller Elemente eines Eingabevektors x in das Array, die zu der Satzgruppe jedes der Vornormalisatoren gehören; und Berechnen und Nachnormalisieren des Mittelwerts µ und der Standardabweichung σ aller Elemente eines Ausgabevektors y, die zu der Satzgruppe jedes der Nachnormalisatoren gehören.

公开(公告)号：DE112018000272T5

公开(公告)日：2019-09-12

申请号：DE112018000272

申请日：2018-02-27

Applicant: IBM

Inventor： GOKMEN TAYFUN ,  TROMP RUDOLF MARIA

IPC: G06N3/08

Abstract: Eine Technik bezieht sich auf eine Anordnung von resistiven Verarbeitungseinheiten (RPUs). Ein Satz von leitfähigen Spaltendrähten ist so konfiguriert, dass er Kreuzungspunkte an Schnittpunkten zwischen dem Satz von leitfähigen Zeilendrähten und dem Satz von leitfähigen Spaltendrähten bildet. RPUs mit zwei Anschlüssen sind so hysteretisch, dass die RPUs mit zwei Anschlüssen jeweils einen durch Hysterese definierten Leitwertzustand aufweisen, wobei sich eine RPU mit zwei Anschlüssen der RPUs mit zwei Anschlüssen an jedem der Mehrzahl von Kreuzungspunkten befindet.

公开(公告)号：DE112016003245B4

公开(公告)日：2025-05-15

申请号：DE112016003245

申请日：2016-09-19

Applicant: IBM

Inventor： GOKMEN TAYFUN ,  VLASOV YURII ,  KIM SEYOUNG

IPC: G06N3/063 ,  G06F3/00 ,  G06G7/60 ,  G06N3/084 ,  G11C11/54

Abstract: Resistive Verarbeitungseinheit (RPU) mit zwei Anschlüssen, die aufweist:einen ersten Anschluss;einen zweiten Anschluss; undeinen aktiven Bereich mit einem Widerstand, wobei die RPU (820,820A) ein Neuron in einem neuronalen Netzwerk darstellt, und der Widerstand des aktiven Bereichs eine Gewichtung des Neurons gemäß einer auf das neuronale Netzwerk angewandten Trainingsmethodik kennzeichnet;wobei der aktive Bereich so konfiguriert ist, dass er eine nichtlineare Änderung des Widerstands auf stochastische Weise bewirkt, die auf mindestens einem an den ersten Anschluss angelegten ersten codierten Signal und mindestens einem an den zweiten Anschluss angelegten zweiten codierten Signal beruht;wobei der aktive Bereich außerdem so konfiguriert ist, dass er einen Datenspeichervorgang einer Trainingsmethodik, der zumindest teilweise auf der nichtlinearen Änderung des Widerstands beruht, lokal ausführt; undwobei der aktive Bereich außerdem so konfiguriert ist, dass er einen Datenverarbeitungsvorgang der Trainingsmethodik, der zumindest teilweise auf der nichtlinearen Änderung des Widerstands beruht, lokal ausführt, und wobei das Codieren des mindestens einen ersten codierten Signals und des mindestens einen zweiten codierten Signals eine stochastische Folge von Impulsen aufweist.

公开(公告)号：DE112021004941B4

公开(公告)日：2025-04-24

申请号：DE112021004941

申请日：2021-10-28

Applicant: IBM

Inventor： RASCH MALTE JOHANNES ,  GOKMEN TAYFUN

IPC: G06N3/084 ,  G06N3/045 ,  G06N3/063 ,  G11C11/54

Abstract: Verfahren zum Trainieren eines künstlichen neuronalen Netzes, ANN, wobei das Verfahren aufweist:Speichern von Gewichtungswerten in einem Array von Einheiten von resistiven Verarbeitungseinheiten (12), RPU, wobei das Array von RPU-Einheiten (12) eine Gewichtungsmatrix (10) W des ANN mit m Zeilen und n Spalten darstellt, durch Speichern der Gewichtungswerte der Gewichtungsmatrix (10) W als resistive Werte der RPU-Einheiten in dem Array;Definieren der Gewichtungsmatrix (10) W so, dass sie eine Ausgabedimension aufweist, die kleiner als die Eingabedimension ist, so dass die Gewichtungsmatrix (10) W eine rechteckige Gestaltung aufweist; undUmwandeln (1010) der Gewichtungsmatrix (10) W von einer rechteckigen Gestaltung in eine quadratischere Gestaltung durch Wiederholen oder Verketten der rechteckigen Gestaltung der Gewichtungsmatrix (10) W, um eine Signalstärke eines Rückwärtsdurchlaufsignals zu erhöhen durch:Kopieren (1020) einer Eingabe von wiederholten Gewichtungselementen während eines Vorwärtszyklusdurchlaufs;Summieren (1030) von Ausgabeberechnungen von den wiederholten Gewichtungselementen, was in einer Ausgabe pro Zeile resultiert; undAktualisieren (1040) jedes der wiederholten Gewichtungselemente entsprechend einem rückwärts propagierten Fehler oder alternativ Aktualisieren (1040) nur eines der wiederholten Gewichtungselemente durch Festlegen aller Vorwärtswerte mit Ausnahme eines auf null während eines Aktualisierungsdurchlaufs.