公开(公告)号：DE112019004391T5

公开(公告)日：2021-08-05

申请号：DE112019004391

申请日：2019-10-30

Applicant: IBM

Inventor： CHO MINSIK ,  FINKLER ULRICH ALFONS ,  ZOLOTOV VLADIMIR ,  KUNG DAVID

IPC: G06N3/02 ,  G06F15/16

Abstract: Es werden Methoden bereitgestellt, die eine Modellunterstützung für Deep Learning ermöglichen. In einem Beispiel enthält ein System eine Grafikverarbeitungseinheit und einen Speicher einer zentralen Verarbeitungseinheit. Die Grafikverarbeitungseinheit verarbeitet Daten, um ein tiefes neuronales Netz zu trainieren. Der Speicher der zentralen Verarbeitungseinheit speichert einen Teil der Daten zum Trainieren des tiefen neuronalen Netzes. Die Grafikverarbeitungseinheit stellt während eines Vorwärtsdurchlaufprozesses des tiefen neuronalen Netzes, der einen Satz von Schichten für das tiefe neuronale Netz von einer ersten Schicht des Satzes von Schichten bis zu einer letzten Schicht des Satzes von Schichten durchläuft, die einen Satz von Ausgaben für das tiefe neuronale Netz bereitstellt, Eingabedaten für eine Schicht aus dem Satz von Schichten für das tiefe neuronale Netz an den Speicher der zentralen Verarbeitungseinheit bereit.

公开(公告)号：DE112019004076T5

公开(公告)日：2021-05-06

申请号：DE112019004076

申请日：2019-11-05

Applicant: IBM

Inventor： ZHANG WEI ,  ZHANG LI ,  FINKLER ULRICH ,  CHO MINSIK ,  KUNG DAVID

IPC: G06N3/08

Abstract: Verschiedene Ausführungsformen werden für dezentralisiertes verteiltes Deep Learning durch einen oder mehrere Prozessoren in einem Datenverarbeitungssystem bereitgestellt. Asynchrones verteiltes Schulen von einem oder mehreren Maschinenlernmodellen kann durch Generieren einer Liste von Nachbarknoten für jeden Knoten in einer Mehrzahl von Knoten und Erstellen eines ersten Threads für kontinuierliche Datenübertragung gemäß einer Operation zum Gewichtungsmanagement und eines zweiten Threads für kontinuierliche Berechnung eines Gradienten für jeden Knoten ausgeführt werden. Eine oder mehrere Variablen werden zwischen dem ersten Thread und dem zweiten Thread gemeinsam genutzt.