公开(公告)号：DE112020004067T5

公开(公告)日：2022-05-19

申请号：DE112020004067

申请日：2020-09-29

Applicant: IBM

Inventor： VENKATARAMANI SWAGATH ,  SRINIVASAN VIJAYALAKSHMI ,  HEIDELBERGER PHILIP

IPC: G06N3/063

Abstract: Die Ausführungen hierin beschreiben hybride Parallelitätstechniken, bei denen eine Mischung aus Daten- und Modellparallelitätstechniken verwendet wird, um die Betriebslast einer Schicht unter einem Array von Prozessoren aufzuteilen. Beim Konfigurieren des Arrays kann die Bandbreite der Prozessoren in einer Richtung größer als die Bandbreite in der anderen Richtung sein. Jede Schicht wird dahingehend charakterisiert, ob sie eher merkmalsschwer oder gewichtungsschwer ist. Je nach dieser Charakterisierung kann die Betriebslast einer NN-Schicht des Arrays unter Verwendung einer hybriden Parallelitätstechnik anstelle der Verwendung allein der Datenparallelitätstechnik oder allein der Modellparallelitätstechnik zugewiesen werden. Wenn zum Beispiel eine NN-Schicht eher gewichtungsschwer als merkmalsschwer ist, wird Datenparallelität in der Richtung mit der höheren Bandbreite verwendet (um die negative Auswirkung von Gewichtungsverringerung zu minimieren), während Modellparallelität in der Richtung mit der geringeren Bandbreite verwendet wird.

公开(公告)号：DE112020004031T5

公开(公告)日：2022-05-19

申请号：DE112020004031

申请日：2020-07-17

Applicant: IBM

Inventor： CHOI JUNGWOOK ,  VENKATARAMANI SWAGATH ,  SRINIVASAN VIJAYALAKSHMI ,  GOPALAKRISHNAN KAILASH

IPC: G06N3/04

Abstract: Ein faltendes neuronales Netz enthält eine Eingangsschicht, eine Ausgangsschicht und eine Mehrzahl von sonstigen Schichten, die zwischen der vorderen und der Ausgangsschicht verbunden sind. Bei einer der sonstigen Schichten handelt es sich um eine Übergangsschicht. Eine erste Präzision wird Aktivierungen von Neuronen von der Eingangsschicht zurück zu der Übergangsschicht zugewiesen, und eine zweite Präzision wird Aktivierungen der Neuronen von der Übergangsschicht zurück zu der Ausgangsschicht zugewiesen. Eine dritte Präzision wird Gewichtungen von Eingaben in Neuronen von der Eingangsschicht zurück zu der Übergangsschicht zugewiesen, und eine vierte Präzision wird Gewichtungen von Eingaben in die Neuronen von der Übergangsschicht zurück zu der Ausgangsschicht zugewiesen. Bei einigen Ausführungsformen weisen die Schichten vor der Übergangsschicht einen anderen Faltungs-Kernel als die Schichten hinter der Übergangsschicht auf.

公开(公告)号：PL4356236T3

公开(公告)日：2025-04-14

申请号：PL22735341

申请日：2022-06-09

Applicant: IBM

Inventor： LICHTENAU CEDRIC ,  GOPALAKRISHNAN KAILASH ,  SRINIVASAN VIJAYALAKSHMI ,  SAPORITO ANTHONY ,  SHUKLA SUNIL ,  VENKATARAMANI SWAGATH

IPC: G06F7/76

公开(公告)号：DE112023001068T5

公开(公告)日：2025-01-09

申请号：DE112023001068

申请日：2023-02-20

Applicant: IBM

Inventor： LICHTENAU CEDRIC ,  SRINIVASAN VIJAYALAKSHMI ,  SHUKLA SUNIL K ,  VENKATARAMANI SWAGATH ,  GOPALAKRISHNAN KAILASH ,  HORBACH HOLGER ,  FIGULI RAZVAN PETER ,  WANG WEI ,  LI YULONG ,  LUTZ MARTIN

IPC: G06F3/06

Abstract: Das Verarbeiten von Eingabedaten zur Übertragung zu einem Datenkonsumenten wie z.B. einer Künstliche-Intelligenz-Steuerungsroutine (Künstliche-Intelligenz-Engine) wird durch Anordnen der Eingabedaten in eine einheitliche Struktur durchgeführt, die aus Sticks von Daten besteht, die kombiniert sind, um Seiten von Sticks zu bilden. Bei einem „Stick“ handelt es sich um einen beliebigen in geeigneter Weise bemessenen Satz von Eingabedatenelementen, wodurch die Größe des Sticks feststeht. Ein Maskierungsmuster wird für Sticks von Daten, die bestimmte Bereiche von ungültigen Daten aufweisen, zur Inanspruchnahme partieller Sticks eingerichtet, während die Gültigkeit der Eingabedaten aufrechterhalten wird, die gerade übertragen werden. Das Maskierungsmuster wird auf der Grundlage von Anweisungen zum Festlegen der aktiven Maske und des Wertes (SAMV-Anweisungen, SAMV = set-active-mask-and-value) abgeleitet. Das abgeleitete Maskenmuster wird für nachfolgende Ladeanweisungen an den Datenkonsumenten weitergeleitet.

公开(公告)号：DE112018004693T5

公开(公告)日：2020-06-18

申请号：DE112018004693

申请日：2018-10-04

Applicant: IBM

Inventor： WANG ZHUO ,  CHOI JUNGWOOK ,  GOPALAKRISHNAN KAILASH ,  VENKATARAMANI SWAGATH ,  SAKR CHARBEL

IPC: G06N3/08

Abstract: Es werden Techniken beschrieben, die ein Verbessern einer Effizienz eines neuronalen Netzes erleichtern. Bei einer Ausführungsform wird ein System bereitgestellt, das einen Speicher, der durch einen Computer ausführbare Komponenten speichert, und einen Prozessor aufweist, der in dem Speicher gespeicherte, durch einen Computer ausführbare Komponenten ausführt. Bei einer Implementierung weisen die durch einen Computer ausführbaren Komponenten eine Initialisierungskomponente auf, die einen Anfangswert eines Ausgabegrenzwerts auswählt, wobei der Ausgabegrenzwert einen Bereich für eine Ausgabe einer Aktivierungsfunktion eines neuronalen Netzes angibt. Die durch einen Computer ausführbaren Komponenten weisen des Weiteren eine Trainings-Komponente auf, die den Anfangswert des Ausgabegrenzwerts während eines Trainings in einen zweiten Wert des Ausgabegrenzwerts modifiziert, wobei der zweite Wert des Ausgabegrenzwerts der Aktivierungsfunktion als Parameter bereitgestellt wird. Die durch einen Computer ausführbaren Komponenten weisen des Weiteren eine Aktivierungsfunktionskomponente auf, die die Ausgabe der Aktivierungsfunktion auf Grundlage des zweiten Werts des Ausgabegrenzwerts als Parameter ermittelt.