公开(公告)号：DE112019002061T5

公开(公告)日：2021-02-04

申请号：DE112019002061

申请日：2019-03-28

Applicant: IBM

Inventor： MODHA DHARMENDRA ,  ARTHUR JOHN VERNON ,  SAWADA JUN ,  ESSER STEVEN KYLE ,  APPUSWAMY RATHINAKUMAR ,  TABA BRIAN SEISHO ,  CASSIDY ANDREW STEPHEN ,  DATTA PALLAB ,  FLICKNER MYRON ,  PENNER HARTMUT ,  KLAMO JENNIFER

IPC: G06F15/80

Abstract: Neuronale Inferenz-Chips und Kerne werden bereitgestellt, die so ausgelegt sind, dass sie durch Parallelismus und On-Chip-Speicher zeit- und platzsparende sowie energieeffiziente neuronale Inferenz bereitstellen. In verschiedenen Ausführungsformen weisen die neuronalen Inferenz-Chips auf: eine Mehrzahl von neuronalen Kernen, die durch ein On-Chip-Netzwerk miteinander verbunden sind; einen ersten On-Chip-Speicher zum Speichern eines neuronalen Netzwerkmodells, wobei der erste On-Chip-Speicher mit jedem der Mehrzahl von Kernen durch das On-Chip-Netzwerk verbunden ist; einen zweiten On-Chip-Speicher zum Speichern von Eingabe- und Ausgabedaten, wobei der zweite On-Chip-Speicher mit jedem der Mehrzahl von Kernen durch das On-Chip-Netzwerk verbunden ist.

公开(公告)号：DE102021123287A1

公开(公告)日：2022-04-28

申请号：DE102021123287

申请日：2021-09-08

Applicant: IBM

Inventor： ANDREOPOULOS ALEXANDER ,  MODHA DHARMENDRA S ,  DI NOLFO CARMELO ,  FLICKNER MYRON D ,  CASSIDY ANDREW STEPHEN ,  TABA BRIAN SEISHO ,  DATTA PALLAB ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN

IPC: G06N3/10 ,  G06N3/04

Abstract: Bereitgestellt werden Simulation und Validierung von neuronalen Netzsystemen. Bei verschiedenen Ausführungsformen wird eine Beschreibung eines künstlichen neuronalen Netzes gelesen. Ein gerichteter Graph wird aufgebaut, der eine Mehrzahl von Kanten und eine Mehrzahl von Knoten aufweist, wobei jede der Mehrzahl von Kanten einer Warteschlange entspricht und jeder der Mehrzahl von Knoten einer Datenverarbeitungsfunktion des neuronalen Netzsystems entspricht. Ein Graphenzustand wird über eine Mehrzahl von Zeitschritten gemäß der Beschreibung des neuronalen Netzes aktualisiert, wobei der Graphenzustand durch den Inhalt jeder der Mehrzahl von Warteschlangen definiert ist. Jede der Mehrzahl von Konsistenzprüfungen wird bei jedem der Mehrzahl von Zeitschritten getestet, wobei es sich bei jeder der Mehrzahl von Konsistenzprüfungen um eine Funktion einer Teilmenge des Graphenzustands handelt. Eine Ungültigkeit des neuronalen Netzsystems wird bei jeder Verletzung einer der Mehrzahl von Konsistenzprüfungen angezeigt.

公开(公告)号：DE112013003349T5

公开(公告)日：2015-03-19

申请号：DE112013003349

申请日：2013-06-28

Applicant: IBM

Inventor： ARTHUR JOHN VERNON ,  MEROLLA PAUL ,  MODHA DHARMENDRA SHANTILAL ,  ALVAREZ-ICAZA RIVERA RODRIGO ,  CASSIDY ANDREW STEPHEN

IPC: G06N3/06

Abstract: Eine Multiplex-Schaltung mit neuronalem Kern weist eine Kernschaltung mit einer Speichereinheit auf, die neuronale Attribute für mehrere Neuronen vorhält. Die Speichereinheit weist mehrere Einträge auf. Jeder Eintrag hält neuronale Attribute für ein entsprechendes Neuron vor. Die Kernschaltung weist des Weiteren eine Steuereinheit zum Verwalten der Speichereinheit auf. In Reaktion auf neuronale Feuerungsereignisse, die an eines der Neuronen gerichtet sind, ruft die Steuereinheit neuronale Attribute für das Zielneuron von einem entsprechenden Eintrag der Speichereinheit ab und integriert die Feuerungsereignisse auf der Grundlage der abgerufenen neuronalen Attribute, um ein Feuerungsereignis für das Zielneuron zu erzeugen.

公开(公告)号：DE112019003529T5

公开(公告)日：2021-04-15

申请号：DE112019003529

申请日：2019-09-25

Applicant: IBM

Inventor： ARTHUR JOHN VERNON ,  CASSIDY ANDREW STEPHEN ,  FLICKNER MYRON ,  DATTA PALLAB ,  PENNER HARTMUT ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN ,  MODHA DHARMENDRA ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER

IPC: G06N3/06

Abstract: Systeme für Neural Network Computation werden bereitgestellt. Ein Prozessor eines neuronalen Netzes weist eine Mehrzahl von neuronalen Kernen auf. Der Prozessor des neuronalen Netzes weist eine oder mehrere Prozessorgenauigkeiten pro Aktivierung auf. Der Prozessor ist dazu ausgebildet, Daten mit einer Prozessormerkmalsdimension anzunehmen. Eine Umwandlungsschaltung ist mit dem Prozessor des neuronalen Netzes verbunden und ist dazu gestaltet: einen Eingabedatentensor mit einer Eingabegenauigkeit pro Kanal bei einem oder mehreren Merkmalen zu empfangen; den Eingabedatentensor von der Eingabegenauigkeit in die Prozessorgenauigkeit umzuwandeln; die Eingabedaten in eine Mehrzahl von Blöcken zu unterteilen, wobei jeder Block einer der Prozessormerkmalsdimensionen entspricht; jeden der Mehrzahl von Blöcken für einen der Mehrzahl von neuronalen Kernen bereitzustellen. Der Prozessor des neuronalen Netzes ist dazu gestaltet, durch die Mehrzahl von neuronalen Kernen eine Ausgabe einer oder mehrerer Schichten des neuronalen Netzes zu berechnen.

公开(公告)号：DE112019000676T5

公开(公告)日：2020-12-03

申请号：DE112019000676

申请日：2019-03-28

Applicant: IBM

Inventor： CASSIDY ANDREW STEPHEN ,  FLICKNER MYRON ,  DATTA PALLAB ,  PENNER HARTMUT ,  APPUSWAMY RATHINAKUMAR ,  SAWADA JUN ,  ARTHUR JOHN VERNON ,  MODHA DHARMENDRA ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER

IPC: G06N3/063

Abstract: Neuronale Inferenzprozessoren werden bereitgestellt. In verschiedenen Ausführungsformen umfasst ein Prozessor eine Mehrzahl von Kernen. Jeder Kern enthält eine neuronale Recheneinheit, einen Aktivierungsspeicher und eine lokale Steuereinheit. Die neuronale Recheneinheit ist so ausgelegt, dass sie eine Mehrzahl von synaptischen Gewichtungen auf eine Mehrzahl von Eingabeaktivierungen anwendet, um eine Mehrzahl von Ausgabeaktivierungen zu erzeugen. Der Aktivierungsspeicher ist so ausgelegt, dass er die Eingabeaktivierungen und Ausgabeaktivierungen speichert. Die lokale Steuereinheit ist so ausgelegt, dass sie die Eingabeaktivierungen von dem Aktivierungsspeicher in die neuronale Recheneinheit lädt und die Mehrzahl von Ausgabeaktivierungen von der neuronalen Recheneinheit in dem Aktivierungsspeicher speichert. Der Prozessor enthält einen Speicher für ein neuronales Netzwerkmodell, der so ausgelegt ist, dass er die Netzwerkparameter, darunter die Mehrzahl von synaptischen Gewichtungen, speichert. Der Prozessor enthält einen globalen Scheduler, der funktionsmäßig mit der Mehrzahl von Kernen verbunden und so ausgelegt ist, dass er jedem Kern die synaptischen Gewichtungen aus dem Speicher für ein neuronales Netzwerkmodell bereitstellt.

公开(公告)号：DE112019000336T5

公开(公告)日：2020-09-17

申请号：DE112019000336

申请日：2019-03-11

Applicant: IBM

Inventor： SAWADA JUN ,  MODHA DHARMENDRA ,  ARTHUR JOHN VERNON ,  ESSER STEVEN KYLE ,  APPUSWAMY RATHINAKUMAR ,  TABA BRIAN SEISHO ,  CASSIDY ANDREW STEPHEN ,  DATTA PALLAB ,  FLICKNER MYRON ,  PENNER HARTMUT ,  KLAMO JENNIFER

IPC: G06N3/063

Abstract: Bereitgestellt werden massiv parallele neuronale Inferenz-Datenverarbeitungselemente. Eine Mehrzahl von Multiplizierern ist in einer Mehrzahl von gleich großen Gruppen angeordnet. Jeder aus der Mehrzahl von Multiplizierern ist ausgelegt, um eine Gewichtung auf eine Eingabeaktivierung parallel anzuwenden, um eine Ausgabe zu erzeugen. Eine Mehrzahl von Addierern ist mit einer der Gruppen von Multiplizierern wirkverbunden. Jeder aus der Mehrzahl von Addierern ist ausgelegt, um die Ausgaben der Multiplizierer innerhalb der ihnen jeweils zugehörigen Gruppe parallel zu addieren, um eine Partialsumme zu erzeugen. Eine Mehrzahl von Funktionsblöcken ist mit einem aus der Mehrzahl von Addierern wirkverbunden. Jeder aus der Mehrzahl von Funktionsblöcken ist ausgelegt, um eine Funktion auf die Partialsumme des ihm zugehörigen Addierers parallel anzuwenden, um einen Ausgabewert zu erzeugen.

公开(公告)号：AU2021251304A1

公开(公告)日：2022-09-15

申请号：AU2021251304

申请日：2021-01-28

Applicant: IBM

Inventor： SAWADA JUN ,  MODHA DHARMENDRA ,  CASSIDY ANDREW STEPHEN ,  ARTHUR JOHN VERNON ,  NAYAK TAPAN ,  ORTEGA OTERO CARLOS ,  TABA BRIAN SEISHO ,  AKOPYAN FILIPP ,  DATTA PALLAB

IPC: G06N3/063 ,  G06F17/15 ,  G06F17/16

Abstract: Neural inference chips for computing neural activations are provided. In various embodiments, a neural inference chip comprises at least one neural core, a memory array, an instruction buffer, and an instruction memory. The instruction buffer has a position corresponding to each of a plurality of elements of the memory array. The instruction memory provides at least one instruction to the instruction buffer. The instruction buffer advances the at least one instruction between positions in the instruction buffer. The instruction buffer provides the at least one instruction to at least one of the plurality of elements of the memory array from its associated position in the instruction buffer when the memory of the at least one of the plurality of elements contains data associated with the at least one instruction. Each element of the memory array provides a data block from its memory to its horizontal buffer in response to the arrival of an associated instruction from the instruction buffer. The horizontal buffer of each element of the memory array provides a data block to the horizontal buffer of another of the elements of the memory array or to the at least one neural core.

公开(公告)号：DE102021128932A1

公开(公告)日：2022-06-09

申请号：DE102021128932

申请日：2021-11-08

Applicant: IBM

Inventor： SAWADA JUN ,  FLICKNER MYRON D ,  CASSIDY ANDREW STEPHEN ,  ARTHUR JOHN VERNON ,  DATTA PALLAB ,  MODHA DHARMENDRA S ,  ESSER STEVEN KYLE ,  TABA BRIAN SEISHO ,  KLAMO JENNIFER ,  APPUSWAMY RATHINAKUMAR ,  AKOPYAN FILIPP ,  OTERO CARLOS ORTEGA

IPC: G06N3/063

Abstract: Ein neuronaler Inferenz-Chip wird bereitgestellt, der zumindest einen neuronalen Inferenzkern enthält. Der zumindest eine neuronale Inferenzkern ist dazu ausgelegt, eine Mehrzahl von synaptischen Gewichtungen auf eine Mehrzahl von Eingabeaktivierungen anzuwenden, um eine Mehrzahl von Zwischenausgaben zu erzeugen. Der zumindest eine neuronale Inferenzkern weist eine Mehrzahl von Aktivierungseinheiten auf, die dazu konfiguriert ist, die Mehrzahl von Zwischenausgaben zu empfangen und eine Mehrzahl von Aktivierungen zu erzeugen. Jede der Mehrzahl von Aktivierungseinheiten ist dazu konfiguriert, eine konfigurierbare Aktivierungsfunktion auf ihre Eingabe anzuwenden. Die konfigurierbare Aktivierungsfunktion weist zumindest einen Bereichsänderungsterm und einen Skalierungsterm auf, wobei der Bereichsänderungsterm den Bereich der Aktivierungen festlegt und der Skalierungsterm die Skalierung der Aktivierungen festlegt. Jede der Mehrzahl von Aktivierungseinheiten ist dazu konfiguriert, den Bereichsänderungsterm und den Skalierungsterm aus einer oder mehreren Umsetzungstabellen zu gewinnen.

公开(公告)号：DE112018004382T5

公开(公告)日：2020-05-14

申请号：DE112018004382

申请日：2018-10-12

Applicant: IBM

Inventor： CASSIDY ANDREW STEPHEN ,  AKOPYAN FILIPP ,  ARTHUR JOHN VERNON ,  DEBOLE MICHAEL VINCENT ,  MEROLLA PAUL ,  MODHA DHARMENDRA ,  SAWADA JUN

IPC: H04L45/02

Abstract: Es werden speicherbezogene Schnittstellen für Nachrichtenübergabe-Datenverarbeitungssysteme bereitgestellt. Gemäß verschiedenen Ausführungsformen wird eine Schreibanforderung empfangen. Die Schreibanforderung weist Schreibdaten und eine Schreibadresse auf. Bei der Schreibadresse handelt es sich um eine Speicheradresse innerhalb eines Speicherbelegungsplans. Die Schreibadresse wird in eine neuronale Netzadresse übersetzt. Die neuronale Netzadresse kennzeichnet mindestens einen Eingabeort eines neuronalen Ziel-Netzes. Die Schreibdaten werden über ein Netzwerk gemäß der neuronalen Netzadresse an den mindestens einen Eingabeort des neuronalen Ziel-Netzes gesendet. Über das Netzwerk wird eine Nachricht von einem neuronalen Quell-Netz empfangen. Die Nachricht weist Daten und mindestens eine Adresse auf. Ein Ort in einem Puffer wird auf der Grundlage der mindestens einen Adresse ermittelt. Die Daten werden an dem Ort in dem Puffer gespeichert. Der Puffer ist über den Speicherbelegungsplan zugänglich.

公开(公告)号：DE112017000855T5

公开(公告)日：2018-10-25

申请号：DE112017000855

申请日：2017-03-09

Applicant: IBM

Inventor： AKOPYAN FILIPP ,  ALVAREZ-ICAZA RODRIGO ,  ARTHUR JOHN VERNON ,  CASSIDY ANDREW STEPHEN ,  ESSER STEVEN KYLE ,  JACKSON BRYAN LAWRENCE ,  MEROLLA PAUL ,  MODHA DHARMENDRA SHANTILAL ,  SAWADA JUN

IPC: G06N3/06 ,  G06N3/04

Abstract: Ein gemultiplexter neuronaler Kernschaltkreis (100) gemäß einer Ausführungsform weist bei einem ganzzahligen Multiplexfaktor T, der größer als null ist, T Sätze von elektronischen Neuronen, T Sätze von elektronischen Axonen, wobei jeder Satz der T Sätze von elektronischen Axonen einem der T Sätze von elektronischen Neuronen entspricht, und ein synaptisches Verbindungsnetzwerk (110b) auf, das eine Mehrzahl von elektronischen Synapsen aufweist, die jeweils ein einzelnes elektronisches Axon mit einem einzelnen elektronischen Neuron verbinden, wobei das Verbindungsnetzwerk (110b) jeden Satz der T Sätze von elektronischen Axonen mit seinem entsprechenden Satz von elektronischen Neuronen verbindet.