公开(公告)号：DE112019000631T5

公开(公告)日：2020-10-29

申请号：DE112019000631

申请日：2019-04-10

Applicant: IBM

Inventor： LEE TAESUNG ,  MOLLOY IAN MICHAEL ,  CARVALHO WILKA ,  EDWARDS BENJAMIN JAMES ,  ZHANG JIALONG ,  CHEN BRYANT

IPC: G06N3/08

Abstract: Mechanismen werden bereitgestellt, um ein trainiertes Machine-Learning-Modell auszuwerten, um festzustellen, ob das Machine-Learning-Modell über einen Backdoor-Trigger verfügt. Die Mechanismen verarbeiten einen Testdatensatz, um Ausgabeklassifikationen für den Testdatensatz zu erzeugen, und erzeugen Gradientendaten für den Testdatensatz, die einen Änderungsgrad von Elementen innerhalb des Testdatensatzes auf der Grundlage der durch das Verarbeiten des Testdatensatzes erzeugten Ausgabe angeben. Die Mechanismen analysieren die Gradientendaten, um ein Muster von Elementen innerhalb des Testdatensatzes zu identifizieren, das auf einen Backdoor-Trigger hinweist. Die Mechanismen erzeugen, als Reaktion auf die Analyse, die das Muster von Elementen identifiziert, das auf einen Backdoor-Trigger hinweist, eine Ausgabe, die das Vorhandensein des Backdoor-Triggers in dem trainierten Machine-Learning-Modell angibt.

公开(公告)号：DE112018004376T5

公开(公告)日：2020-05-14

申请号：DE112018004376

申请日：2018-10-29

Applicant: IBM

Inventor： LEE TAESUNG ,  MOLLOY IAN MICHAEL ,  TEJANI FARHAN

IPC: G06N3/04

Abstract: Bereitgestellt werden Mechanismen zum Bereitstellen eines gefestigten neuronalen Netzes. Die Mechanismen konfigurieren das in dem Datenverarbeitungssystem ausgeführte gefestigte neuronale Netz, um ein Rauschen in interne Merkmalsrepräsentationen des gefestigten neuronalen Netzes einzuspeisen. Das in die internen Merkmalsrepräsentationen eingespeiste Rauschen verfälscht eine Verlustfläche des gefestigten neuronalen Netzes betreffende Gradientenberechnungen. Die Mechanismen konfigurieren das in dem Datenverarbeitungssystem ausgeführte gefestigte neuronale Netz, um eine Vereinigungsschicht aus Knoten zu implementieren, die Ausgaben gegnerisch trainierter Ausgabeknoten des gefestigten neuronalen Netzes mit auf Grundlage des eingespeisten Rauschens trainierten Ausgabeknoten des gefestigten neuronalen Netzes kombinieren. Die Mechanismen verarbeiten durch das gefestigte neuronale Netz Eingabedaten, um Klassifizierungskennzeichnungen für die Eingabedaten zu erzeugen und dadurch augmentierte Eingabedaten zu erzeugen, die an ein Datenverarbeitungssystem zur Verarbeitung ausgegeben werden, um einen Datenverarbeitungsvorgang durchzuführen.