公开(公告)号：DE102021125856A1

公开(公告)日：2022-05-19

申请号：DE102021125856

申请日：2021-10-05

Applicant: IBM

Inventor： ZHANG JIALONG ,  GU ZHONGSHU ,  JANG JIYONG ,  STOECKLIN MARC PHILIPPE ,  MOLLOY IAN MICHAEL

IPC: G06F21/55 ,  G06F21/53 ,  G06N3/04

Abstract: Ein Verfahren, eine Vorrichtung und ein Computerprogrammprodukt zum Schützen eines tiefen neuronalen Netzes (deep neural network (DNN)) mit einer Mehrzahl von Schichten, einschließlich einer oder mehrerer Zwischenschichten. In diesem Ansatz wird ein Trainingsdatensatz empfangen. Während des Trainierens des DNNs unter Verwendung des empfangenen Trainingsdatensatzes wird eine Darstellung von Aktivierungen aufgezeichnet, die einer Zwischenschicht zugeordnet sind. Für mindestens eine oder mehrere der Darstellungen wird ein separater Klassifikator (Modell) trainiert. Die Klassifikatoren werden gemeinsam verwendet, um ein Ausreißer-Erkennungsmodell zu trainieren. Auf das Trainieren folgend wird das Ausreißer-Erkennungsmodell verwendet, um eine feindliche Eingabe in das tiefe neuronale Netz zu erkennen. Das Ausreißer-Erkennungsmodell erzeugt eine Vorhersage und einen Indikator, ob eine gegebene Eingabe die feindliche Eingabe ist. Gemäß einem weiteren Aspekt wird eine Aktion vorgenommen, um ein eingesetztes System, das dem DNN zugeordnet ist, als Reaktion auf die Erkennung der feindlichen Eingabe zu schützen.