公开(公告)号：DE112012000628T5

公开(公告)日：2013-11-14

申请号：DE112012000628

申请日：2012-02-29

Applicant: IBM

Inventor： REINWALD BERTHOLD ,  VAITHYANATHAN SHIVAKUMAR ,  SINDHWANI VIKAS ,  TATIKONDA SHIRISH ,  KRISHNAMURTHY RAJASEKAR ,  TIAN YUANYUAN ,  GHOTING AMOL ,  BURDICK DOUGLAS R ,  PEDNAULT EDWIN P

IPC: G06F15/18 ,  G06F15/16 ,  G06F17/30

Abstract: Es werden Systeme und Verfahren zur Verarbeitung von maschinellen Lern(ML)-Algorithmen in einer MapReduce-Umgebung bereitgestellt. In einer Ausführungsform eines Verfahrens schließt das Verfahren das Empfangen eines in der MapReduce-Umgebung auszuführenden ML-Algorithmus ein. Das Verfahren schließt außerdem das Parsen des ML-Algorithmus in eine Vielzahl von Anweisungsblöcken in einer Sequenz ein, wobei jeder Anweisungsblock eine Vielzahl von Basisoperationen (HOPs) aufweist. Das Verfahren schließt auch das automatische Bestimmen eines Ausführungsplans für jeden Anweisungsblock ein, wobei mindestens einer der Ausführungspläne eine oder mehrere Low-Level-Operation(en) (LOPs) aufweist. Das Verfahren schließt außerdem das Realisieren der Ausführungspläne in der Sequenz der Vielzahl von Anweisungsblöcken ein.

公开(公告)号：GB2502020A

公开(公告)日：2013-11-13

申请号：GB201314958

申请日：2012-02-29

Applicant: IBM

Inventor： VAITHYANATHAN SHIVAKUMAR ,  TIAN YUANYUAN ,  GHOTING AMOL ,  BURDICK DOUGLAS R ,  PEDNAULT EDWIN P ,  REINWALD BERTHOLD ,  SINDHWANI VIKAS ,  TATIKONDA SHIRISH ,  KRISHNAMURTHY RAJASEKAR

IPC: G06F9/48 ,  G06F15/18

Abstract: Systems and methods for processing Machine Learning (ML) algorithms in a MapReduce environment are described. In one embodiment of a method, the method includes receiving a ML algorithm to be executed in the MapReduce environment. The method further includes parsing the ML algorithm into a plurality of statement blocks in a sequence, wherein each statement block comprises a plurality of basic operations (hops). The method also includes automatically determining an execution plan for each statement block, wherein at least one of the execution plans comprises one or more low-level operations (lops). The method further includes implementing the execution plans in the sequence of the plurality of the statement blocks.

公开(公告)号：DE102014114392A1

公开(公告)日：2015-06-11

申请号：DE102014114392

申请日：2014-10-02

Applicant: IBM

Inventor： AVRON HAIM ,  SINDHWANI VIKAS ,  WOODRUFF DAVID P

IPC: G06F17/10

Abstract: Ein System, Verfahren und Computerprogrammprodukt zum schnellen und annähernden Lösen von Problemen strukturierter Regression. In einem Aspekt werden das System, Verfahren und Computerprogrammprodukt auf Probleme angewendet, die auf natürliche Weise in verschiedenen statistischen Modellerstellungsanordnungen auftreten – wenn es sich bei der Design-Matrix um eine Vandermonde-Matrix oder eine Sequenz solcher Matrizen handelt. Das Verwenden der Vandermonde-Matrixstruktur beschleunigt weiter das Lösen des Regressionsproblems, wodurch Laufzeiten erreicht werden, die schneller als „Eingabespärlichkeit” sind. Die Beschleunigung des Modellerstellungs-Rahmens profitiert von zufallsbasierter Regression zum Lösen von Problemen strukturierter Regression.