公开(公告)号：DE112019000631T5

公开(公告)日：2020-10-29

申请号：DE112019000631

申请日：2019-04-10

Applicant: IBM

Inventor： LEE TAESUNG ,  MOLLOY IAN MICHAEL ,  CARVALHO WILKA ,  EDWARDS BENJAMIN JAMES ,  ZHANG JIALONG ,  CHEN BRYANT

IPC: G06N3/08

Abstract: Mechanismen werden bereitgestellt, um ein trainiertes Machine-Learning-Modell auszuwerten, um festzustellen, ob das Machine-Learning-Modell über einen Backdoor-Trigger verfügt. Die Mechanismen verarbeiten einen Testdatensatz, um Ausgabeklassifikationen für den Testdatensatz zu erzeugen, und erzeugen Gradientendaten für den Testdatensatz, die einen Änderungsgrad von Elementen innerhalb des Testdatensatzes auf der Grundlage der durch das Verarbeiten des Testdatensatzes erzeugten Ausgabe angeben. Die Mechanismen analysieren die Gradientendaten, um ein Muster von Elementen innerhalb des Testdatensatzes zu identifizieren, das auf einen Backdoor-Trigger hinweist. Die Mechanismen erzeugen, als Reaktion auf die Analyse, die das Muster von Elementen identifiziert, das auf einen Backdoor-Trigger hinweist, eine Ausgabe, die das Vorhandensein des Backdoor-Triggers in dem trainierten Machine-Learning-Modell angibt.