Neuzuordnung von Jobs, um die Datenqualität zu prüfen

    公开(公告)号:DE102013215529B4

    公开(公告)日:2022-09-29

    申请号:DE102013215529

    申请日:2013-08-07

    Applicant: IBM

    Abstract: Von einem Computer ausgeführtes Verfahren, um die Datenqualität von Daten eines Anwendungsprogramms (366) durch ein Datenqualitätsmanagementsystem (310) zu prüfen, wobei das Verfahren aufweist:- Ausführen (102) von mindestens einem Job einer Vielzahl von Jobs (332) durch das Datenqualitätsmanagementsystem, wobei der mindestens eine Job so ausgelegt ist, dass er die Daten auf Übereinstimmung mit einem oder mehreren Qualitätskriterien auswertet,• wobei jeder der Jobs zu einem Job-Satz einer Vielzahl von Job-Sätzen (334, 336, 338) gehört, wobei die Vielzahl der Job-Sätze mindestens einen ersten Job-Satz (334) und einen zweiten Job-Satz (336) aufweist;• wobei jeder Job-Satz der Job-Sätze eine Kategorie eines Laufzeitverhaltens darstellt, wobei die in jedem Job-Satz enthaltenen Jobs entsprechend ihres jeweiligen Laufzeitverhaltens in die Laufzeitverhaltenskategorien eingeteilt wurden;• wobei die Ausführung der in dem ersten Job-Satz enthaltenen Jobs von einer Nachricht (MS) ausgelöst wird, die das Datenqualitätsmanagementsystem von dem Anwendungsprogramm empfängt;• wobei die Ausführung der in dem zweiten Job-Satz enthaltenen Jobs von einem Scheduler (314) des Datenqualitätsmanagementsystems ausgelöst wird;- Überwachen des Laufzeitverhaltens von dem mindestens einen ausgeführten Job durch das Datenqualitätsmanagementsystem, um ein aktuelles Laufzeitverhalten des Jobs festzustellen;- Neuklassifizieren des mindestens einen überwachten Jobs, indem der Job demjenigen Job-Satz neu zugeordnet wird, der das festgestellte aktuelle Laufzeitverhalten darstellt.

    A method and a system for loading data with complex relationships

    公开(公告)号:GB2522832A

    公开(公告)日:2015-08-12

    申请号:GB201317899

    申请日:2013-10-10

    Applicant: IBM

    Abstract: A method for loading data into a target system, the data comprises entities having a corresponding unique primary data value and one or more corresponding secondary data values. At least a portion of the secondary data values has associated foreign key relationships. Each foreign key relationship links the corresponding secondary data value to the corresponding primary data value of another entity. The method comprises the following steps: splitting the entities into insertion leaf groups by execution of an iteration process comprising execution of consecutive iterations, wherein execution of each iteration involves generation of a respective set the insertion leaf groups, the respective set of the insertion leaf groups containing all entities whose secondary data values have either no foreign key relationships or only one or more foreign key relationships with the primary data values of the entities of the insertion leaf groups generated during execution of any prior iteration, wherein the iteration process is executed until there are no entities left whose secondary data values have either no foreign key relationships or only one or more foreign key relationships with the primary data values of the one or more entities of the insertion leaf groups generated during execution of any previous iteration, wherein a sequence of generation of the sets of the insertion leaf groups is recorded; and consecutively loading the sets of the insertion leaf groups of the entities and the foreign key relationships linking their secondary data values with the corresponding primary data values into the target system according to the sequence.

    SORTIEREN VON DATENELEMENTEN EINES BESTIMMTEN SATZES VON DATENELEMENTEN

    公开(公告)号:DE112021001565T5

    公开(公告)日:2022-12-29

    申请号:DE112021001565

    申请日:2021-04-16

    Applicant: IBM

    Abstract: Ein computerrealisiertes Verfahren wird zum Sortieren von Datenelementen eines bestimmten Satzes verwendet. Das Verfahren enthält ein Durchführen einer Bewertung einer ersten Art von Verwendung eines jeden Datenelements. Das Verfahren enthält ein Bestimmen eines Satzes von Datenelement-Kandidaten abhängig von der Bewertung der ersten Art von Verwendung. Das Verfahren enthält ein Durchführen einer Bewertung einer zweiten Art von Verwendung eines jeden Datenelements des Satzes von Datenelement-Kandidaten. Das Verfahren enthält ein Sortieren der Datenelemente des Satzes von Datenelement-Kandidaten abhängig von der Bewertung der zweiten Art von Verwendung eines jeden Datenelements des Satzes von Datenelement-Kandidaten. Das Verfahren enthält ein Bereitstellen der sortierten Datenelemente des Satzes von Datenelement-Kandidaten und als Reaktion hierauf ein Empfangen einer Anforderung einer Datenverarbeitung auf Grundlage der bereitgestellten sortierten Datenelemente des Satzes von Datenelement-Kandidaten.

    A method for processing data quality exceptions in a data processing system

    公开(公告)号:GB2528066A

    公开(公告)日:2016-01-13

    申请号:GB201412121

    申请日:2014-07-08

    Applicant: IBM

    Abstract: An exception engine (101) of a data processing system (100) receives, from at least a first data source (121) of one or more data sources a first description of at least a first data quality exception in a data set of the first data source (121); a grouping rule is used for assigning the first data quality exception to at least a first exception group using the first description, and using a first technical task of the one or more technical tasks the first exception group is associated with a first technical support system of the multiple technical support systems; the exception engine (101) routes at least part of the first description to the first technical support system for providing a technical repair for exceptions in the first exception group.

    VERFAHREN UND SYSTEM ZUM LADEN VON DATEN MIT KOMPLEXEN BEZIEHUNGEN

    公开(公告)号:DE102014113693A1

    公开(公告)日:2015-05-21

    申请号:DE102014113693

    申请日:2014-09-23

    Applicant: IBM

    Abstract: Die Erfindung bezieht sich auf ein Verfahren, ein Computerprogrammprodukt, ein System zum Laden von Daten in ein Zielsystem. Die Daten weisen Entitäten mit einem entsprechenden eindeutigen primären Datenwert und einem oder mehreren entsprechenden sekundären Datenwerten auf. Mindestens ein Teil der sekundären Datenwerte weist zugehörige Fremdschlüsselbeziehungen auf. Jede Fremdschlüsselbeziehung verbindet den entsprechenden sekundären Datenwert mit dem entsprechenden primären Datenwert einer anderen Entität. Das Verfahren weist folgende Schritte auf: Aufteilen der Entitäten in Einfügeblattgruppen, indem ein Iterationsprozess ausgeführt wird, bei dem aufeinanderfolgende Iterationen durchgeführt werden, wobei das Ausführen jeder Iteration ein Erzeugen eines entsprechenden Satzes der Einfügeblattgruppen beinhaltet, wobei der entsprechende Satz der Einfügeblattgruppen alle Entitäten enthält, deren sekundäre Datenwerte entweder über keine Fremdschlüsselbeziehungen oder nur über eine oder mehrere Fremdschlüsselbeziehungen mit den primären Datenwerten der Entitäten der Einfügeblattgruppen verfügen, die bei der Ausführung einer vorherigen Iteration erzeugt wurden, wobei der Iterationsprozess ausgeführt wird, bis keine Entitäten mehr vorhanden sind, deren sekundäre Datenwerte entweder über keine Fremdschlüsselbeziehungen oder nur über eine oder mehrere Fremdschlüsselbeziehungen mit den primären Datenwerten der einen oder mehreren Entitäten der Einfügeblattgruppen verfügen, die bei der Ausführung einer vorherigen Iteration erzeugt wurden, wobei eine Abfolge zum Erzeugen der Sätze der Einfügeblattgruppen gespeichert wird; und das aufeinanderfolgende Laden der Sätze der Einfügeblattgruppen der Entitäten und der Fremdschlüsselbeziehungen, die ihre sekundären Datenwerte mit dem entsprechenden primären Datenwerten verbinden, in das Zielsystem gemäß der Abfolge.

    Neuzuordnung von Jobs, um die Datenqualität zu prüfen

    公开(公告)号:DE102013215529A1

    公开(公告)日:2015-02-12

    申请号:DE102013215529

    申请日:2013-08-07

    Applicant: IBM

    Abstract: Die Erfindung betrifft ein von einem Computer ausgeführtes Verfahren, um die Datenqualität von Daten eines Anwendungsprogramms (366) durch ein Datenqualitätsmanagementsystem (310) zu prüfen, wobei das Verfahren aufweist: – Ausführen (102) von mindestens einem Job einer Vielzahl von Jobs (332), der so ausgelegt ist, dass er die Daten auf Übereinstimmung mit einem oder mehreren Qualitätskriterien auswertet, – Überwachen des Laufzeitverhaltens von dem mindestens einen ausgeführten Job; – Neuklassifizieren des mindestens einen überwachten Jobs, indem der Job einem Job-Satz neu zugeordnet wird, der das festgestellte aktuelle Laufzeitverhalten darstellt.

    Checking data quality of an application program by monitoring runtime behaviour

    公开(公告)号:GB2505184A

    公开(公告)日:2014-02-26

    申请号:GB201214853

    申请日:2012-08-21

    Applicant: IBM

    Abstract: At least one of the plurality of jobs is executed (102) by a data quality management system. Each job is a member of a job set, each job set representing a runtime behaviour category into which the jobs have been classified according to their runtime behaviour. Execution of the jobs contained in the job set is triggered by a message received by the data quality management system from an application program. The runtime behaviour of the executed job is monitored (104) to determine a current runtime behaviour and the monitored job is reclassified (106) to a further job set representing its current runtime behaviour. The message is preferably received by the data quality management system from the application program upon the application program executing a database transaction for storing data in a first database.

Patent Agency Ranking