公开(公告)号：DE112019004391T5

公开(公告)日：2021-08-05

申请号：DE112019004391

申请日：2019-10-30

Applicant: IBM

Inventor： CHO MINSIK ,  FINKLER ULRICH ALFONS ,  ZOLOTOV VLADIMIR ,  KUNG DAVID

IPC: G06N3/02 ,  G06F15/16

Abstract: Es werden Methoden bereitgestellt, die eine Modellunterstützung für Deep Learning ermöglichen. In einem Beispiel enthält ein System eine Grafikverarbeitungseinheit und einen Speicher einer zentralen Verarbeitungseinheit. Die Grafikverarbeitungseinheit verarbeitet Daten, um ein tiefes neuronales Netz zu trainieren. Der Speicher der zentralen Verarbeitungseinheit speichert einen Teil der Daten zum Trainieren des tiefen neuronalen Netzes. Die Grafikverarbeitungseinheit stellt während eines Vorwärtsdurchlaufprozesses des tiefen neuronalen Netzes, der einen Satz von Schichten für das tiefe neuronale Netz von einer ersten Schicht des Satzes von Schichten bis zu einer letzten Schicht des Satzes von Schichten durchläuft, die einen Satz von Ausgaben für das tiefe neuronale Netz bereitstellt, Eingabedaten für eine Schicht aus dem Satz von Schichten für das tiefe neuronale Netz an den Speicher der zentralen Verarbeitungseinheit bereit.

公开(公告)号：DE112020006010T5

公开(公告)日：2023-01-19

申请号：DE112020006010

申请日：2020-12-02

Applicant: IBM

Inventor： JANSSEN GRADUS ,  ZOLOTOV VLADIMIR ,  LE TUNG

IPC: G06N3/08 ,  G06F12/02

Abstract: Verarbeiten eines Datenflussgraphen eines neuronalen Netzwerks mit einem Satz von Knoten und einem Satz von Kanten. Ein Einfügungspunkt wird für eine Arbeitsspeicher-Reduzierungs- oder Arbeitsspeicher-Wiederherstellungsoperation bestimmt. Die Bestimmung beruht auf einem Berechnen von Tensor-Timing-Slacks (TTS) für einen Satz von Eingabetensoren; Kompilieren einer Kandidatenliste (SI) von Eingabetensoren aus dem Satz von Eingabetensoren durch Verwenden von Eingabetensoren mit entsprechenden TTS-Werten, die größer als ein Schwellenwert (thTTS) sind; Filtern der SI zum Beibehalten von Eingabetensoren, deren Größe einen Schwellenwert (thS) erfüllt; und Bestimmen eines Einfügungspunkts für die Operation durch Verwenden der SI auf Grundlage des Filterns. Ein neuer Datenflussgraph wird generiert oder ein bestehender wird durch Verwenden dieses Prozesses modifiziert.