公开(公告)号：DE102021125856A1

公开(公告)日：2022-05-19

申请号：DE102021125856

申请日：2021-10-05

Applicant: IBM

Inventor： ZHANG JIALONG ,  GU ZHONGSHU ,  JANG JIYONG ,  STOECKLIN MARC PHILIPPE ,  MOLLOY IAN MICHAEL

IPC: G06F21/55 ,  G06F21/53 ,  G06N3/04

Abstract: Ein Verfahren, eine Vorrichtung und ein Computerprogrammprodukt zum Schützen eines tiefen neuronalen Netzes (deep neural network (DNN)) mit einer Mehrzahl von Schichten, einschließlich einer oder mehrerer Zwischenschichten. In diesem Ansatz wird ein Trainingsdatensatz empfangen. Während des Trainierens des DNNs unter Verwendung des empfangenen Trainingsdatensatzes wird eine Darstellung von Aktivierungen aufgezeichnet, die einer Zwischenschicht zugeordnet sind. Für mindestens eine oder mehrere der Darstellungen wird ein separater Klassifikator (Modell) trainiert. Die Klassifikatoren werden gemeinsam verwendet, um ein Ausreißer-Erkennungsmodell zu trainieren. Auf das Trainieren folgend wird das Ausreißer-Erkennungsmodell verwendet, um eine feindliche Eingabe in das tiefe neuronale Netz zu erkennen. Das Ausreißer-Erkennungsmodell erzeugt eine Vorhersage und einen Indikator, ob eine gegebene Eingabe die feindliche Eingabe ist. Gemäß einem weiteren Aspekt wird eine Aktion vorgenommen, um ein eingesetztes System, das dem DNN zugeordnet ist, als Reaktion auf die Erkennung der feindlichen Eingabe zu schützen.

公开(公告)号：DE112021000689T5

公开(公告)日：2022-12-08

申请号：DE112021000689

申请日：2021-01-18

Applicant: IBM

Inventor： GU ZHONGSHU ,  SHU XIAOKUI ,  JAMJOOM HANI ,  MA TENGFEI

IPC: G06F21/12 ,  G06N3/02

Abstract: Es werden Mechanismen zum Implementieren einer Engine zur Attestierung von neuronalen Abläufen und Durchführen einer Überprüfung einer Ausführungsintegrität von Computermodellen auf Grundlage von neuronalen Abläufen bereitgestellt. Eingabedaten werden in ein trainiertes Computermodell eingegeben, das eine Mehrzahl von Schichten von Neuronen enthält. Die Engine zur Attestierung von neuronalen Abläufen zeichnet eine Ausgabeklasse, die durch das trainierte Computermodell erzeugt wird, und einen neuronalen Ablauf durch die Mehrzahl von Schichten von Neuronen für einen Satz von Eingabedateninstanzen in den Eingabedaten auf, um dadurch aufgezeichnete neuronale Abläufe zu erzeugen. Das trainierte Computermodell wird für eine Datenverarbeitungsplattform bereitgestellt, und die Engine zur Attestierung von neuronalen Abläufen überprüft die Ausführungsintegrität des bereitgestellten trainierten Computermodells auf Grundlage eines neuronalen Laufzeitablaufs des bereitgestellten trainierten Computermodells und der aufgezeichneten neuronalen Abläufe.

公开(公告)号：AU2021210217A1

公开(公告)日：2022-06-16

申请号：AU2021210217

申请日：2021-01-18

Applicant: IBM

Inventor： GU ZHONGSHU ,  SHU XIAOKUI ,  JAMJOOM HANI ,  MA TENGFEI

IPC: G06F9/00

Abstract: Mechanisms are provided to implement a neural flow attestation engine and perform computer model execution integrity verification based on neural flows. Input data is input to a trained computer model that includes a plurality of layers of neurons. The neural flow attestation engine records, for a set of input data instances in the input data, an output class generated by the trained computer model and a neural flow through the plurality of layers of neurons to thereby generate recorded neural flows. The trained computer model is deployed to a computing platform, and the neural flow attestation engine verifies the execution integrity of the deployed trained computer model based on a runtime neural flow of the deployed trained computer model and the recorded neural flows.