公开(公告)号：DE112021004905T5

公开(公告)日：2023-08-17

申请号：DE112021004905

申请日：2021-10-26

Applicant: IBM

Inventor： NEGISHI YASUSHI ,  LE TUNG D ,  IMAI HARUKI ,  KAWACHIYA KIYOKUNI

IPC: H03M7/30

Abstract: Vorgestellt wird ein Verfahren zum Komprimieren von Daten einer ReLU- (Rectified Linear Unit) Funktion auf einer Grafikverarbeitungseinheit (GPU), die in einem Lernprozess eines tiefen neuronalen Netzes eingesetzt wird. Das Verfahren umfasst Umwandeln einer anfänglichen Datenstruktur, die Nicht-Null-Daten und Null-Daten enthält, in eine komprimierte Datenstruktur, die nur die Nicht-Null-Daten der anfänglichen Datenstruktur als komprimierte Daten enthält, durch Erzeugen einer Nicht-Null-Daten-Bitmap-Region, Erzeugen einer Nicht-Null-Daten-Anzahl-Tabellen-Region durch Einsetzen eines parallelen Reduktionsalgorithmus, Berechnen einer Nicht-Null-Daten-Feld-Index pro Block-Region aller Blöcke aus der Nicht-Null-Daten-Anzahl-Tabellen-Region durch Einsetzen eines parallelen Präfixsummenabtastalgorithmus, Zuteilen eines Puffers für die komprimierten Daten; und paralleles Kopieren der Nicht-Null-Daten aus der anfänglichen Datenstruktur in eine Nicht-Null-Daten-Feld-Region in einem komprimierten Datenformat.