Streamlining data processing optimizations for machine learning workloads

    公开(公告)号:AU2021285952A1

    公开(公告)日:2022-10-27

    申请号:AU2021285952

    申请日:2021-05-14

    Applicant: IBM

    Abstract: Techniques for refinement of data pipelines are provided. An original file of serialized objects is received, and an original pipeline comprising a plurality of transformations is identified based on the original file. A first computing cost is determined for a first transformation of the plurality of transformations. The first transformation is modified using a predefined optimization, and a second cost of the modified first transformation is determined. Upon determining that the second cost is lower than the first cost, the first transformation is replaced, in the original pipeline, with the optimized first transformation.

    Transaktionsverwaltung für Datenbanksysteme

    公开(公告)号:DE102013204521A1

    公开(公告)日:2013-10-02

    申请号:DE102013204521

    申请日:2013-03-15

    Applicant: IBM

    Abstract: Hierin werden Systeme, Verfahren und Produkte zur Transaktionsverwaltung für Datenbanksysteme bereitgestellt. Ein Aspekt sieht das Annotieren eines auf einer Datenverarbeitungseinheit vorhandenen Datenobjektes mittels der Datenverarbeitungseinheit unter Verwendung wenigstens eines Transaktions-Tag vor, wobei das wenigstens eine Transaktions-Tag so konfiguriert ist, dass es einen Status eines dazugehörigen Datenobjektes anzeigt; das Verarbeiten wenigstens einer Datenbanktransaktion unter Verwendung eines transaktionsorientierten Speicherprozesses, wobei ein Zugriff auf das wenigstens eine Datenobjekt auf der Grundlage des Status des wenigstens einen Datenobjektes festgelegt wird; und das Aktualisieren des Status des wenigstens einen Datenobjektes als Reaktion auf einen versuchten Zugriff auf das wenigstens eine Datenobjekt durch die wenigstens eine Datenbanktransaktion. Hierein werden darüber hinaus weitere Ausführungsformen und Aspekte beschrieben.

    Database system transaction management

    公开(公告)号:GB2501800A

    公开(公告)日:2013-11-06

    申请号:GB201303662

    申请日:2013-03-01

    Applicant: IBM

    Abstract: Database system transaction management comprises annotating via a computing device at least one database data object (e.g. table 202, page 203, rows 204 within database 201) residing on the computing device utilizing at least one transaction tag 205, the at least one transaction tag 205 being configured to indicate a status of an associated data object; processing at least one database transaction utilizing a transactional memory (TM) process, wherein access to the at least one data object is determined based on the status of the at least one data object; and updating the status of the at least one data object responsive to an attempted access of the at least one data object by the at least one database transaction. The tag updates may be handled utilizing hardware transaction management (HTM) optimistically lock-free.

    RATIONALISIEREN VON DATENVERARBEITUNGSOPTIMIERUNGEN FÜR ARBEITSLASTEN MIT MASCHINELLEM LERNEN

    公开(公告)号:DE112021001767T5

    公开(公告)日:2023-01-12

    申请号:DE112021001767

    申请日:2021-05-14

    Applicant: IBM

    Abstract: Bereitgestellt werden Methoden zur Verfeinerung von Daten-Pipelines. Eine ursprüngliche Datei von serialisierten Objekten wird empfangen, und eine ursprüngliche Pipeline, die eine Mehrzahl von Transformationen aufweist, wird auf Grundlage der ursprünglichen Datei identifiziert. Für eine erste Transformation der Mehrzahl von Transformationen werden erste Datenverarbeitungskosten ermittelt. Die erste Transformation wird unter Verwendung einer vordefinierten Optimierung modifiziert, und zweite Kosten der modifizierten ersten Transformation werden ermittelt. Wenn ermittelt wird, dass die zweiten Kosten niedriger als die ersten Kosten sind, wird die erste Transformation in der ursprünglichen Pipeline durch die optimierte erste Transformation ersetzt.

    Database system transaction management

    公开(公告)号:GB2501800B

    公开(公告)日:2014-10-08

    申请号:GB201303662

    申请日:2013-03-01

    Applicant: IBM

    Abstract: Systems, methods, and products for database system transaction management are provided herein. One aspect provides for annotating via a computing device at least one data object residing on the computing device utilizing at least one transaction tag, the at least one transaction tag being configured to indicate a status of an associated data object; processing at least one database transaction utilizing a transactional memory process, wherein access to the at least one data object is determined based on the status of the at least one data object; and updating the status of the at least one data object responsive to an attempted access of the at least one data object by the at least one database transaction. Other embodiments and aspects are also described herein.

Patent Agency Ranking