公开(公告)号：DE112018005205T5

公开(公告)日：2020-07-02

申请号：DE112018005205

申请日：2018-11-30

Applicant: IBM

Inventor： CHOI JUNGWOOK ,  NARAYANAN PRITISH ,  CHEN CHIA-YU ,  GOPALAKRISHNAN KAILASH ,  GUPTA SUYOG

IPC: G06N3/08

Abstract: Ein System mit einem Hauptspeicher, in dem durch einen Computer ausführbare Komponenten gespeichert sind, und einem Prozessor, der die durch einen Computer ausführbaren Komponenten ausführt, verringert die Datengröße im Zusammenhang mit einem Trainieren eines neuronalen Netzes durch Ausnutzung einer räumlichen Lokalität zu Gewichtsmatrizen und Erwirken von Frequenztransformation und Komprimierung. Eine Empfangskomponente empfängt Daten des neuronalen Netzes in Form einer komprimierten Frequenzbereichs-Gewichtsmatrix. Eine Segmentierungskomponente segmentiert die Ausgangsgewichtsmatrix in ursprüngliche Teilkomponenten, wobei jeweilige ursprüngliche Teilkomponenten räumliche Gewichte aufweisen. Eine Abtastkomponente wendet eine verallgemeinerte Gewichtsverteilung auf die jeweiligen ursprünglichen Teilkomponenten an, um jeweilige normalisierte Teilkomponenten zu erzeugen. Eine Transformationskomponente wendet eine Transformation auf die jeweiligen normalisierten Teilkomponenten an. Eine Beschneidungskomponente abschneidet hochfrequente Gewichte der jeweiligen transformierten normalisierten Teilkomponenten, um einen Satz von niederfrequenten normalisierten Teilkomponenten hervorzubringen, um eine komprimierte Darstellung der ursprünglichen Teilkomponenten zu erzeugen.

公开(公告)号：DE112020003600T5

公开(公告)日：2022-04-14

申请号：DE112020003600

申请日：2020-08-17

Applicant: IBM

Inventor： SUN XIAO ,  CHOI JUNGWOOK ,  WANG NAIGANG ,  CHEN CHIA-YU ,  GOPALAKRISHNAN KAILASH

IPC: G06N3/08

Abstract: Eine Vorrichtung zum Trainieren und Folgern eines neuronalen Netzes enthält Schalttechnik, die so konfiguriert ist, dass sie eine erste Gewichtung mit einem ersten Format, das eine erste Anzahl von Bits enthält, zumindest teilweise auf Grundlage einer zweiten Gewichtung mit einem zweiten Format, das eine zweite Anzahl von Bits enthält, und eines Rests mit einem dritten Format, das eine dritte Anzahl von Bits enthält, erzeugt. Die zweite Anzahl von Bits und die dritte Anzahl von Bits sind jeweils kleiner als die erste Anzahl von Bits. Die Schalttechnik ist ferner so konfiguriert, dass sie die zweite Gewichtung zumindest teilweise auf Grundlage der ersten Gewichtung aktualisiert und den Rest zumindest teilweise auf Grundlage der aktualisierten zweiten Gewichtung und der ersten Gewichtung aktualisiert. Die Schalttechnik ist ferner so konfiguriert, dass sie die erste Gewichtung zumindest teilweise auf Grundlage der aktualisierten zweiten Gewichtung und des aktualisierten Rests aktualisiert.

公开(公告)号：DE112018006189T5

公开(公告)日：2020-09-03

申请号：DE112018006189

申请日：2018-11-30

Applicant: IBM

Inventor： CHEN CHIA-YU ,  AGRAWAL ANKUR ,  BRAND DANIEL ,  GOPALAKRISHNAN KAILASH ,  CHOI JUNGWOOK

IPC: G06N3/08

Abstract: Ausführungsformen der vorliegenden Erfindung stellen ein auf einem Computer ausgeführtes Verfahren zum adaptiven Komprimieren von Restgradienten zum Trainieren eines auf Deep-Learning beruhenden neuronalen Netzes (DNN) bereit. Das Verfahren umfasst ein Erhalten, durch einen ersten Lerner, eines aktuellen Gradientenvektors für eine neuronale Netzschicht des DNN, wobei der aktuelle Gradientenvektor Gradientengewichte von Parametern der neuronalen Netzschicht enthält, die aus einer kleinen Teilmenge von Trainingsdaten berechnet werden. Es wird ein aktueller Residuenvektor erzeugt, der Restgradientengewichte für die kleine Teilmenge enthält. Es wird ein komprimierter aktueller Residuenvektor auf der Grundlage eines Aufteilens der Restgradientengewichte des aktuellen Residuenvektors in eine Mehrzahl von Intervallen einer einheitlichen Größe und eines Quantisierens einer Untermenge der Restgradientengewichte eines oder mehrerer Intervalle aus der Mehrzahl von Intervallen erzeugt. Der komprimierte aktuelle Residuenvektor wird dann an einen zweiten Lerner aus der Mehrzahl von Lernern oder an einen Parameter-Server übermittelt.

公开(公告)号：DE112016000407T5

公开(公告)日：2017-10-19

申请号：DE112016000407

申请日：2016-02-17

Applicant: IBM

Inventor： LIU ZUOGUANG ,  CHEN CHIA-YU ,  YAMASHITA TENKO ,  WANG MIAOMIAO

IPC: H01L21/336 ,  H01L21/265 ,  H01L27/092 ,  H01L29/04

Abstract: Es wird eine Technik für eine Bildung einer Halbleiter-Einheit bereitgestellt. Opfer-Mandrels werden über einer Hartmaskenschicht auf einer Halbleiterschicht gebildet. Auf Seitenwänden der Opfer-Mandrels werden Abstandshalter gebildet. Die Opfer-Mandrels werden entfernt, um die Abstandshalter zu belassen. Ein Maskierungs-Prozess belässt einen ersten Satz von Abstandshaltern freiliegend, während ein zweiter Satz geschützt ist. In Reaktion auf den Maskierungs-Prozess bildet ein erster Fin-Ätzprozess mittels des ersten Satzes von Abstandshaltern einen ersten Satz von Fins in der Halbleiterschicht. Der erste Satz von Fins weist ein vertikales Seitenwand-Profil auf. Ein weiterer Maskierungs-Prozess belässt den zweiten Satz von Abstandshaltern freiliegend, wobei der erste Satz von Abstandshaltern und der erste Satz von Fins geschützt sind. in Reaktion auf den weiteren Maskierungs-Prozess bildet ein zweiter Fin-Ätzprozess unter Verwendung des zweiten Satzes von Abstandshaltern einen zweiten Satz von Fins in der Halbleiterschicht. Der zweite Satz von Fins weist ein trapezförmiges Seitenwand-Profil auf.