公开(公告)号：DE112012000628T5

公开(公告)日：2013-11-14

申请号：DE112012000628

申请日：2012-02-29

Applicant: IBM

Inventor： REINWALD BERTHOLD ,  VAITHYANATHAN SHIVAKUMAR ,  SINDHWANI VIKAS ,  TATIKONDA SHIRISH ,  KRISHNAMURTHY RAJASEKAR ,  TIAN YUANYUAN ,  GHOTING AMOL ,  BURDICK DOUGLAS R ,  PEDNAULT EDWIN P

IPC: G06F15/18 ,  G06F15/16 ,  G06F17/30

Abstract: Es werden Systeme und Verfahren zur Verarbeitung von maschinellen Lern(ML)-Algorithmen in einer MapReduce-Umgebung bereitgestellt. In einer Ausführungsform eines Verfahrens schließt das Verfahren das Empfangen eines in der MapReduce-Umgebung auszuführenden ML-Algorithmus ein. Das Verfahren schließt außerdem das Parsen des ML-Algorithmus in eine Vielzahl von Anweisungsblöcken in einer Sequenz ein, wobei jeder Anweisungsblock eine Vielzahl von Basisoperationen (HOPs) aufweist. Das Verfahren schließt auch das automatische Bestimmen eines Ausführungsplans für jeden Anweisungsblock ein, wobei mindestens einer der Ausführungspläne eine oder mehrere Low-Level-Operation(en) (LOPs) aufweist. Das Verfahren schließt außerdem das Realisieren der Ausführungspläne in der Sequenz der Vielzahl von Anweisungsblöcken ein.

公开(公告)号：GB2502020A

公开(公告)日：2013-11-13

申请号：GB201314958

申请日：2012-02-29

Applicant: IBM

Inventor： VAITHYANATHAN SHIVAKUMAR ,  TIAN YUANYUAN ,  GHOTING AMOL ,  BURDICK DOUGLAS R ,  PEDNAULT EDWIN P ,  REINWALD BERTHOLD ,  SINDHWANI VIKAS ,  TATIKONDA SHIRISH ,  KRISHNAMURTHY RAJASEKAR

IPC: G06F9/48 ,  G06F15/18

Abstract: Systems and methods for processing Machine Learning (ML) algorithms in a MapReduce environment are described. In one embodiment of a method, the method includes receiving a ML algorithm to be executed in the MapReduce environment. The method further includes parsing the ML algorithm into a plurality of statement blocks in a sequence, wherein each statement block comprises a plurality of basic operations (hops). The method also includes automatically determining an execution plan for each statement block, wherein at least one of the execution plans comprises one or more low-level operations (lops). The method further includes implementing the execution plans in the sequence of the plurality of the statement blocks.

公开(公告)号：DE112020000749T5

公开(公告)日：2021-10-28

申请号：DE112020000749

申请日：2020-05-15

Applicant: IBM

Inventor： BARBER RONALD ,  RAMAN VIJAYSHANKAR ,  SIDLE RICHARD SEFTON ,  TIAN YUANYUAN ,  TOZUN PINAR ,  LUO CHEN ,  STORM ADAM ,  GROSMAN RONEN ,  SPILCHEN MATTHEW

IPC: G06F16/22

Abstract: Gemäß einer oder mehreren Ausführungsformen der vorliegenden Erfindung umfasst ein durch einen Computer umgesetztes Verfahren ein Erstellen eines hybriden Index für ein Mehrzonen-Datenspeichersystem, in dem eine erste Zone Daten aufweist, die für eine Transaktionsverarbeitung organisiert sind, und mit einer zweiten Zone, die Daten aufweist, die für eine Analysenverarbeitung organisiert sind. Jeder Indexeintrag in den hybriden Index umfasst einen Indexschlüssel mit einer Gleichheitsspalte, einer Anfangszeitstempelspalte und einer Tupelsequenznummernspalte. Das Verfahren umfasst ferner ein Aufbauen eines Indexverlaufs, der in den hybriden Index aufgenommen werden soll, wobei der Indexverlauf mehrere Indexeinträge umfasst. Ein Indexverlauf wird erstellt, indem Spalten durch Scannen von Datenblöcken aus der ersten Zone ausgewählt, Tupelsequenznummernwerte für die Indexeinträge, die in den hybriden Index aufgenommen werden sollen, berechnet und die Indexeinträge gemäß einer vorbestimmten Reihenfolge unter Verwendung der Spalten sortiert werden, die in den Indexverlauf aufgenommen werden sollen.