公开(公告)号：DE112019002061T5

公开(公告)日：2021-02-04

申请号：DE112019002061

申请日：2019-03-28

Applicant: IBM

Inventor： MODHA DHARMENDRA ,  ARTHUR JOHN VERNON ,  SAWADA JUN ,  ESSER STEVEN KYLE ,  APPUSWAMY RATHINAKUMAR ,  TABA BRIAN SEISHO ,  CASSIDY ANDREW STEPHEN ,  DATTA PALLAB ,  FLICKNER MYRON ,  PENNER HARTMUT ,  KLAMO JENNIFER

IPC: G06F15/80

Abstract: Neuronale Inferenz-Chips und Kerne werden bereitgestellt, die so ausgelegt sind, dass sie durch Parallelismus und On-Chip-Speicher zeit- und platzsparende sowie energieeffiziente neuronale Inferenz bereitstellen. In verschiedenen Ausführungsformen weisen die neuronalen Inferenz-Chips auf: eine Mehrzahl von neuronalen Kernen, die durch ein On-Chip-Netzwerk miteinander verbunden sind; einen ersten On-Chip-Speicher zum Speichern eines neuronalen Netzwerkmodells, wobei der erste On-Chip-Speicher mit jedem der Mehrzahl von Kernen durch das On-Chip-Netzwerk verbunden ist; einen zweiten On-Chip-Speicher zum Speichern von Eingabe- und Ausgabedaten, wobei der zweite On-Chip-Speicher mit jedem der Mehrzahl von Kernen durch das On-Chip-Netzwerk verbunden ist.

公开(公告)号：DE102021128932A1

公开(公告)日：2022-06-09

申请号：DE102021128932

申请日：2021-11-08

Applicant: IBM

Inventor： SAWADA JUN ,  FLICKNER MYRON D ,  CASSIDY ANDREW STEPHEN ,  ARTHUR JOHN VERNON ,  DATTA PALLAB ,  MODHA DHARMENDRA S ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER ,  APPUSWAMY RATHINAKUMAR ,  AKOPYAN FILIPP ,  OTERO CARLOS ORTEGA

IPC: G06N3/063

Abstract: Ein neuronaler Inferenz-Chip wird bereitgestellt, der zumindest einen neuronalen Inferenzkern enthält. Der zumindest eine neuronale Inferenzkern ist dazu ausgelegt, eine Mehrzahl von synaptischen Gewichtungen auf eine Mehrzahl von Eingabeaktivierungen anzuwenden, um eine Mehrzahl von Zwischenausgaben zu erzeugen. Der zumindest eine neuronale Inferenzkern weist eine Mehrzahl von Aktivierungseinheiten auf, die dazu konfiguriert ist, die Mehrzahl von Zwischenausgaben zu empfangen und eine Mehrzahl von Aktivierungen zu erzeugen. Jede der Mehrzahl von Aktivierungseinheiten ist dazu konfiguriert, eine konfigurierbare Aktivierungsfunktion auf ihre Eingabe anzuwenden. Die konfigurierbare Aktivierungsfunktion weist zumindest einen Bereichsänderungsterm und einen Skalierungsterm auf, wobei der Bereichsänderungsterm den Bereich der Aktivierungen festlegt und der Skalierungsterm die Skalierung der Aktivierungen festlegt. Jede der Mehrzahl von Aktivierungseinheiten ist dazu konfiguriert, den Bereichsänderungsterm und den Skalierungsterm aus einer oder mehreren Umsetzungstabellen zu gewinnen.

公开(公告)号：DE112019003529T5

公开(公告)日：2021-04-15

申请号：DE112019003529

申请日：2019-09-25

Applicant: IBM

Inventor： ARTHUR JOHN VERNON ,  CASSIDY ANDREW STEPHEN ,  FLICKNER MYRON ,  DATTA PALLAB ,  PENNER HARTMUT ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN ,  MODHA DHARMENDRA ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER

IPC: G06N3/06

Abstract: Systeme für Neural Network Computation werden bereitgestellt. Ein Prozessor eines neuronalen Netzes weist eine Mehrzahl von neuronalen Kernen auf. Der Prozessor des neuronalen Netzes weist eine oder mehrere Prozessorgenauigkeiten pro Aktivierung auf. Der Prozessor ist dazu ausgebildet, Daten mit einer Prozessormerkmalsdimension anzunehmen. Eine Umwandlungsschaltung ist mit dem Prozessor des neuronalen Netzes verbunden und ist dazu gestaltet: einen Eingabedatentensor mit einer Eingabegenauigkeit pro Kanal bei einem oder mehreren Merkmalen zu empfangen; den Eingabedatentensor von der Eingabegenauigkeit in die Prozessorgenauigkeit umzuwandeln; die Eingabedaten in eine Mehrzahl von Blöcken zu unterteilen, wobei jeder Block einer der Prozessormerkmalsdimensionen entspricht; jeden der Mehrzahl von Blöcken für einen der Mehrzahl von neuronalen Kernen bereitzustellen. Der Prozessor des neuronalen Netzes ist dazu gestaltet, durch die Mehrzahl von neuronalen Kernen eine Ausgabe einer oder mehrerer Schichten des neuronalen Netzes zu berechnen.

公开(公告)号：DE112019000676T5

公开(公告)日：2020-12-03

申请号：DE112019000676

申请日：2019-03-28

Applicant: IBM

Inventor： CASSIDY ANDREW STEPHEN ,  FLICKNER MYRON ,  DATTA PALLAB ,  PENNER HARTMUT ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN ,  ARTHUR JOHN VERNON ,  MODHA DHARMENDRA ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER

IPC: G06N3/063

Abstract: Neuronale Inferenzprozessoren werden bereitgestellt. In verschiedenen Ausführungsformen umfasst ein Prozessor eine Mehrzahl von Kernen. Jeder Kern enthält eine neuronale Recheneinheit, einen Aktivierungsspeicher und eine lokale Steuereinheit. Die neuronale Recheneinheit ist so ausgelegt, dass sie eine Mehrzahl von synaptischen Gewichtungen auf eine Mehrzahl von Eingabeaktivierungen anwendet, um eine Mehrzahl von Ausgabeaktivierungen zu erzeugen. Der Aktivierungsspeicher ist so ausgelegt, dass er die Eingabeaktivierungen und Ausgabeaktivierungen speichert. Die lokale Steuereinheit ist so ausgelegt, dass sie die Eingabeaktivierungen von dem Aktivierungsspeicher in die neuronale Recheneinheit lädt und die Mehrzahl von Ausgabeaktivierungen von der neuronalen Recheneinheit in dem Aktivierungsspeicher speichert. Der Prozessor enthält einen Speicher für ein neuronales Netzwerkmodell, der so ausgelegt ist, dass er die Netzwerkparameter, darunter die Mehrzahl von synaptischen Gewichtungen, speichert. Der Prozessor enthält einen globalen Scheduler, der funktionsmäßig mit der Mehrzahl von Kernen verbunden und so ausgelegt ist, dass er jedem Kern die synaptischen Gewichtungen aus dem Speicher für ein neuronales Netzwerkmodell bereitstellt.

公开(公告)号：DE112019000336T5

公开(公告)日：2020-09-17

申请号：DE112019000336

申请日：2019-03-11

Applicant: IBM

Inventor： SAWADA JUN ,  MODHA DHARMENDRA ,  ARTHUR JOHN VERNON ,  ESSER STEVEN KYLE ,  APPUSWAMY RATHINAKUMAR ,  TABA BRIAN SEISHO ,  CASSIDY ANDREW STEPHEN ,  DATTA PALLAB ,  FLICKNER MYRON ,  PENNER HARTMUT ,  KLAMO JENNIFER

IPC: G06N3/063

Abstract: Bereitgestellt werden massiv parallele neuronale Inferenz-Datenverarbeitungselemente. Eine Mehrzahl von Multiplizierern ist in einer Mehrzahl von gleich großen Gruppen angeordnet. Jeder aus der Mehrzahl von Multiplizierern ist ausgelegt, um eine Gewichtung auf eine Eingabeaktivierung parallel anzuwenden, um eine Ausgabe zu erzeugen. Eine Mehrzahl von Addierern ist mit einer der Gruppen von Multiplizierern wirkverbunden. Jeder aus der Mehrzahl von Addierern ist ausgelegt, um die Ausgaben der Multiplizierer innerhalb der ihnen jeweils zugehörigen Gruppe parallel zu addieren, um eine Partialsumme zu erzeugen. Eine Mehrzahl von Funktionsblöcken ist mit einem aus der Mehrzahl von Addierern wirkverbunden. Jeder aus der Mehrzahl von Funktionsblöcken ist ausgelegt, um eine Funktion auf die Partialsumme des ihm zugehörigen Addierers parallel anzuwenden, um einen Ausgabewert zu erzeugen.

公开(公告)号：DE102021123287A1

公开(公告)日：2022-04-28

申请号：DE102021123287

申请日：2021-09-08

Applicant: IBM

Inventor： ANDREOPOULOS ALEXANDER ,  MODHA DHARMENDRA S ,  DI NOLFO CARMELO ,  FLICKNER MYRON D ,  CASSIDY ANDREW STEPHEN ,  TABA BRIAN SEISHO ,  DATTA PALLAB ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN

IPC: G06N3/10 ,  G06N3/04

Abstract: Bereitgestellt werden Simulation und Validierung von neuronalen Netzsystemen. Bei verschiedenen Ausführungsformen wird eine Beschreibung eines künstlichen neuronalen Netzes gelesen. Ein gerichteter Graph wird aufgebaut, der eine Mehrzahl von Kanten und eine Mehrzahl von Knoten aufweist, wobei jede der Mehrzahl von Kanten einer Warteschlange entspricht und jeder der Mehrzahl von Knoten einer Datenverarbeitungsfunktion des neuronalen Netzsystems entspricht. Ein Graphenzustand wird über eine Mehrzahl von Zeitschritten gemäß der Beschreibung des neuronalen Netzes aktualisiert, wobei der Graphenzustand durch den Inhalt jeder der Mehrzahl von Warteschlangen definiert ist. Jede der Mehrzahl von Konsistenzprüfungen wird bei jedem der Mehrzahl von Zeitschritten getestet, wobei es sich bei jeder der Mehrzahl von Konsistenzprüfungen um eine Funktion einer Teilmenge des Graphenzustands handelt. Eine Ungültigkeit des neuronalen Netzsystems wird bei jeder Verletzung einer der Mehrzahl von Konsistenzprüfungen angezeigt.

公开(公告)号：AU2020369825A1

公开(公告)日：2022-03-31

申请号：AU2020369825

申请日：2020-10-01

Applicant: IBM

Inventor： CASSIDY ANDREW ,  AKOPYAN FILIPP ,  APPUSWAMY RATHINAKUMAR ,  ARTHUR JOHN ,  DATTA PALLAB ,  DEBOLE MICHAEL ,  ESSER STEVE ,  FLICKNER MYRON ,  MODHA DHARMENDRA ,  ORTEGA OTERO CARLOS ,  SAWADA JUN

IPC: G06N3/04 ,  G06N3/063

Abstract: Three-dimensional neural inference processing units are provided. A first tier comprises a plurality of neural cores. Each core comprises a neural computation unit. The neural computation unit is adapted to apply a plurality of synaptic weights to a plurality of input activations to produce a plurality of output activations. A second tier comprises a first neural network model memory adapted to store the plurality of synaptic weights. A communication network is operatively coupled to the first neural network model memory and to each of the plurality of neural cores, and adapted to provide the synaptic weights from the first neural network model memory to each of the plurality of neural cores.

公开(公告)号：AU2020395435A1

公开(公告)日：2022-05-26

申请号：AU2020395435

申请日：2020-09-29

Applicant: IBM

Inventor： CASSIDY ANDREW STEPHEN ,  APPUSWAMY RATHINAKUMAR ,  ARTHUR JOHN VERNON ,  DATTA PALLAB ,  ESSER STEVE KYLE ,  FLICKNER MYRON ,  MCKINSTRY JEFFREY ,  MODHA DHARMENDRA ,  SAWADA JUN ,  TABA BRIAN SEISHO

IPC: G06N3/04 ,  G06N3/063

Abstract: Neural inference chips are provided. A neural core of the neural inference chip comprises a vector-matrix multiplier; a vector processor; and an activation unit operatively coupled to the vector processor. The vector-matrix multiplier, vector processor, and/or activation unit is adapted to operate at variable precision.

公开(公告)号：DE102021123286A1

公开(公告)日：2022-04-21

申请号：DE102021123286

申请日：2021-09-08

Applicant: IBM

Inventor： AMIR ARNON ,  CASSIDY ANDREW STEPHEN ,  MCCLATCHEY NATHANIEL JOSEPH ,  SAWADA JUN ,  MODHA DHARMENDRA S ,  APPUSWAMY RATHINAKUMAR

IPC: G06N3/063 ,  G06F9/30

Abstract: Es werden Chips bereitgestellt, die eine Konstantzeit-Programmsteuerung verschachtelter Schleifen unterstützen. Bei verschiedenen Ausführungsformen weist ein Chip mindestens eine Arithmetik-Logik-Berechnungseinheit und eine Steuereinheit auf, die funktionsmäßig mit der mindestens einen Arithmetik-Logik-Berechnungseinheit verbunden ist. Die Steuereinheit ist gemäß einer Programmkonfiguration konfiguriert, wobei die Programmkonfiguration mindestens eine innere Schleife und mindestens eine äußere Schleife aufweist. Die Steuereinheit ist so konfiguriert, dass die mindestens eine Arithmetik-Berechnungseinheit veranlasst wird, eine Mehrzahl von Operationen gemäß der Programmkonfiguration auszuführen. Die Steuereinheit ist so konfiguriert, dass mindestens ein erster Schleifenzähler und ein zweiter Schleifenzähler verwaltet werden, wobei der erste Schleifenzähler so konfiguriert ist, dass eine Anzahl ausgeführter Iterationen der mindestens einen ersten äußeren Schleife gezählt wird, und der zweite Schleifenzähler so konfiguriert ist, dass eine Anzahl ausgeführter Iterationen der mindestens einen inneren Schleife gezählt wird. Die Steuereinheit ist so konfiguriert, dass eine erste Angabe darüber, ob der erste Schleifenzähler einer letzten Iteration entspricht, und eine zweite Angabe darüber bereitgestellt werden, ob der zweite Schleifenzähler einer letzten Iteration entspricht. Die Steuereinheit ist so konfiguriert, dass alternativ jeder des ersten und des zweiten Schleifenzählers gemäß der ersten und der zweiten Angabe hochgezählt, zurückgesetzt oder beibehalten wird.

公开(公告)号：DE112019002981T5

公开(公告)日：2021-03-11

申请号：DE112019002981

申请日：2019-06-05

Applicant: IBM

Inventor： CASSIDY ANDREW STEPHEN ,  FLICKNER MYRON ,  DATTA PALLAB ,  PENNER HARTMUT ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN ,  ARTHUR JOHN VERNON ,  MODHA DHARMENDRA ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER

IPC: G06N3/063 ,  G06N3/02

Abstract: Bereitgestellt wird Verarbeitungs-Hardware eines neuronalen Netzwerks unter Verwendung von Parallelberechnungsarchitekturen mit rekonfigurierbarer Kernebenen- und Vektorebenen-Parallelität. In verschiedenen Ausführungsformen wird ein Arbeitsspeicher eines neuronalen Netzwerkmodells angepasst, um ein neuronales Netzwerkmodell zu speichern, das eine Mehrzahl von Schichten aufweist. Jede Schicht hat mindestens eine Dimension und weist eine Mehrzahl von synaptischen Gewichtungen auf. Bereitgestellt wird eine Mehrzahl von neuronalen Kernen. Jeder neuronale Kern enthält eine Berechnungseinheit und einen Aktivierungsarbeitsspeicher. Die Berechnungseinheit ist angepasst, um eine Mehrzahl von synaptischen Gewichtungen auf eine Mehrzahl von Eingabeaktivierungen anzuwenden, um eine Mehrzahl von Ausgabeaktivierungen zu erzeugen. Die Berechnungseinheit hat eine Mehrzahl von Vektoreinheiten. Der Aktivierungsarbeitsspeicher ist angepasst, um die Eingabeaktivierungen und die Ausgabeaktivierungen zu speichern. Das System ist angepasst, um die Mehrzahl von Kernen in eine Mehrzahl von Partitionen auf Grundlage von Dimensionen der Schicht und der Vektoreinheiten zu partitionieren.