VERFAHREN UND SYSTEM ZUM LADEN VON DATEN MIT KOMPLEXEN BEZIEHUNGEN

    公开(公告)号:DE102014113693A1

    公开(公告)日:2015-05-21

    申请号:DE102014113693

    申请日:2014-09-23

    Applicant: IBM

    Abstract: Die Erfindung bezieht sich auf ein Verfahren, ein Computerprogrammprodukt, ein System zum Laden von Daten in ein Zielsystem. Die Daten weisen Entitäten mit einem entsprechenden eindeutigen primären Datenwert und einem oder mehreren entsprechenden sekundären Datenwerten auf. Mindestens ein Teil der sekundären Datenwerte weist zugehörige Fremdschlüsselbeziehungen auf. Jede Fremdschlüsselbeziehung verbindet den entsprechenden sekundären Datenwert mit dem entsprechenden primären Datenwert einer anderen Entität. Das Verfahren weist folgende Schritte auf: Aufteilen der Entitäten in Einfügeblattgruppen, indem ein Iterationsprozess ausgeführt wird, bei dem aufeinanderfolgende Iterationen durchgeführt werden, wobei das Ausführen jeder Iteration ein Erzeugen eines entsprechenden Satzes der Einfügeblattgruppen beinhaltet, wobei der entsprechende Satz der Einfügeblattgruppen alle Entitäten enthält, deren sekundäre Datenwerte entweder über keine Fremdschlüsselbeziehungen oder nur über eine oder mehrere Fremdschlüsselbeziehungen mit den primären Datenwerten der Entitäten der Einfügeblattgruppen verfügen, die bei der Ausführung einer vorherigen Iteration erzeugt wurden, wobei der Iterationsprozess ausgeführt wird, bis keine Entitäten mehr vorhanden sind, deren sekundäre Datenwerte entweder über keine Fremdschlüsselbeziehungen oder nur über eine oder mehrere Fremdschlüsselbeziehungen mit den primären Datenwerten der einen oder mehreren Entitäten der Einfügeblattgruppen verfügen, die bei der Ausführung einer vorherigen Iteration erzeugt wurden, wobei eine Abfolge zum Erzeugen der Sätze der Einfügeblattgruppen gespeichert wird; und das aufeinanderfolgende Laden der Sätze der Einfügeblattgruppen der Entitäten und der Fremdschlüsselbeziehungen, die ihre sekundären Datenwerte mit dem entsprechenden primären Datenwerten verbinden, in das Zielsystem gemäß der Abfolge.

    Neuzuordnung von Jobs, um die Datenqualität zu prüfen

    公开(公告)号:DE102013215529A1

    公开(公告)日:2015-02-12

    申请号:DE102013215529

    申请日:2013-08-07

    Applicant: IBM

    Abstract: Die Erfindung betrifft ein von einem Computer ausgeführtes Verfahren, um die Datenqualität von Daten eines Anwendungsprogramms (366) durch ein Datenqualitätsmanagementsystem (310) zu prüfen, wobei das Verfahren aufweist: – Ausführen (102) von mindestens einem Job einer Vielzahl von Jobs (332), der so ausgelegt ist, dass er die Daten auf Übereinstimmung mit einem oder mehreren Qualitätskriterien auswertet, – Überwachen des Laufzeitverhaltens von dem mindestens einen ausgeführten Job; – Neuklassifizieren des mindestens einen überwachten Jobs, indem der Job einem Job-Satz neu zugeordnet wird, der das festgestellte aktuelle Laufzeitverhalten darstellt.

    Checking data quality of an application program by monitoring runtime behaviour

    公开(公告)号:GB2505184A

    公开(公告)日:2014-02-26

    申请号:GB201214853

    申请日:2012-08-21

    Applicant: IBM

    Abstract: At least one of the plurality of jobs is executed (102) by a data quality management system. Each job is a member of a job set, each job set representing a runtime behaviour category into which the jobs have been classified according to their runtime behaviour. Execution of the jobs contained in the job set is triggered by a message received by the data quality management system from an application program. The runtime behaviour of the executed job is monitored (104) to determine a current runtime behaviour and the monitored job is reclassified (106) to a further job set representing its current runtime behaviour. The message is preferably received by the data quality management system from the application program upon the application program executing a database transaction for storing data in a first database.

    MASKIEREN VON SENSIBLEN INFORMATIONEN IN EINEM DOKUMENT

    公开(公告)号:DE102021123058A1

    公开(公告)日:2022-04-21

    申请号:DE102021123058

    申请日:2021-09-07

    Applicant: IBM

    Abstract: Die beispielhaften Ausführungsformen offenbaren ein Verfahren, ein Computerprogrammprodukt und ein Computersystem zum Schutz von sensiblen Informationen. Zu den beispielhaften Ausführungsformen kann ein Verwenden eines invertierten Textindex zum Auswerten von einem oder mehreren statistischen Maßen eines Indextokens des invertierten Textindex, ein Verwenden des einen oder der mehreren statistischen Maße zum Auswählen eines Satzes von Kandidatentoken, ein Entnehmen von Metadaten aus dem invertierten Textindex, ein Zuordnen des Satzes von Kandidatentoken zu jeweiligen Tokenmetadaten, ein Zerlegen von mindestens einem Dokument in Token, was ein oder mehrere Dokumenttoken ergibt, ein Vergleichen des einen oder der mehreren Dokumenttoken mit dem Satz von Kandidatentoken, ein Auswählen eines Satzes von zu maskierenden Dokumenttoken, ein Auswählen von mindestens einem Teil des Satzes von Dokumenttoken, der gemäß den zugehörigen Tokenmetadaten sensible Informationen aufweist, ein Maskieren des mindestens einen Teils des Satzes von Dokumenttoken und ein Bereitstellen von einem oder mehreren maskierten Dokumenten gehören.

    DATENANONYMISIERUNG
    15.
    发明专利

    公开(公告)号:DE112019001433T5

    公开(公告)日:2020-12-10

    申请号:DE112019001433

    申请日:2019-03-19

    Applicant: IBM

    Abstract: Die vorliegende Offenbarung bezieht sich auf ein Verfahren zur Datenanonymisierung eines Datenbanksystems. Das Verfahren weist auf: Ermitteln, ob eine erste Datenmenge und eine zweite Datenmenge des Datenbanksystems eine Beziehung aufweisen, die auf eine Entität hinweist, die Werte in den beiden Datenmengen aufweist. Eine Anforderung zumindest einer der ersten und der zweiten Datenmenge kann von einem Benutzer empfangen werden. Falls die erste Datenmenge und die zweite Datenmenge die Beziehung aufweisen, kann zumindest eine der ersten und der zweiten Datenmenge so modifiziert werden, dass der Hinweis auf die Entität für den Benutzer nicht zugänglich ist. Und die angeforderte Datenmenge kann bereitgestellt werden.

    Processing data sets in a big data repository

    公开(公告)号:GB2524074A

    公开(公告)日:2015-09-16

    申请号:GB201404523

    申请日:2014-03-14

    Applicant: IBM

    Abstract: The invention provides a method for processing a plurality of data sets in a data repository for storing at least unstructured data, the method comprising providing (302) a set of agents, each agent being operable to trigger the processing of one or more of the data sets, the execution of each of said agents being automatically triggered in case one or more conditions assigned to said agent are met, at least one of the conditions relating to the existence, structure, content and/or annotations of the data set whose processing can be triggered by said agent, executing (304) a first one of the agents, updating (306) the annotations of the first data set by the first agent, and executing (308) a second one of the agents, said execution being triggered by the updated annotations of the first data set meeting the conditions of the second agent, thereby triggering a further updating of the annotations of the first data set. A computer system carrying out the method is also claimed.

    A method and a system for loading data with complex relationships

    公开(公告)号:GB2522832A

    公开(公告)日:2015-08-12

    申请号:GB201317899

    申请日:2013-10-10

    Applicant: IBM

    Abstract: A method for loading data into a target system, the data comprises entities having a corresponding unique primary data value and one or more corresponding secondary data values. At least a portion of the secondary data values has associated foreign key relationships. Each foreign key relationship links the corresponding secondary data value to the corresponding primary data value of another entity. The method comprises the following steps: splitting the entities into insertion leaf groups by execution of an iteration process comprising execution of consecutive iterations, wherein execution of each iteration involves generation of a respective set the insertion leaf groups, the respective set of the insertion leaf groups containing all entities whose secondary data values have either no foreign key relationships or only one or more foreign key relationships with the primary data values of the entities of the insertion leaf groups generated during execution of any prior iteration, wherein the iteration process is executed until there are no entities left whose secondary data values have either no foreign key relationships or only one or more foreign key relationships with the primary data values of the one or more entities of the insertion leaf groups generated during execution of any previous iteration, wherein a sequence of generation of the sets of the insertion leaf groups is recorded; and consecutively loading the sets of the insertion leaf groups of the entities and the foreign key relationships linking their secondary data values with the corresponding primary data values into the target system according to the sequence.

    System and method for converting stored procedures into workflow descriptions.

    公开(公告)号:GB2465657A

    公开(公告)日:2010-06-02

    申请号:GB0917525

    申请日:2009-10-07

    Applicant: IBM

    Abstract: A method in a database system for automatically converting stored procedures into a workflow description for a workflow system, comprises obtaining a code of a control flow language for accessing databases (101), wherein said code comprises stored procedures; providing a description of syntax and a set of node types of said control flow language (102), creating a tree model of said code based on said description of syntax of said control flow language (103). The tree model comprises a set of nodes, each node having a respective node type determined by said description of syntax and being at least one of a child node or inner node, said inner nodes being at a higher hierarchical level than said children nodes, wherein said nodes represent at least one of statements or declarations of said code. The tree is traversed using a specific traverse mode (104) preferably depth first, with each traversed node of said tree model being transformed into an element of said workflow description (105). Elements of said workflow description resulting from already transformed nodes are taken into account when later traversed nodes are transformed. Preferably the method converts control flow code in SQL, C, XML, or JavaRTMor any hierarchical or object orientated database into workflow description languages such as BPEL or BPMN.

Patent Agency Ranking