公开(公告)号：DE112011101109T5

公开(公告)日：2013-01-10

申请号：DE112011101109

申请日：2011-03-14

Applicant: IBM

Inventor： XUE WEI ,  CAI BIN ,  XIANG ZHE ,  YANG BO ,  LI LI

IPC: G06F9/50 ,  G06F3/06

Abstract: Ein Verfahren zur Übertragung von MapReduce-Daten in einem Rechenzentrum mit einem Speichernetzwerk (SAN), wobei das Rechenzentrum mehrere mit einem Job-Verfolger, Map-Aufgaben-Verfolgern und Reduce-Aufgaben-Verfolgern -versehene Server enthält, wobei das Verfahren Folgendes aufweist: als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Map-Aufgabe Durchführen der Map-Aufgabe und Erzeugen von Ausgaben der Map-Aufgabe durch einen Map-Aufgaben-Verfolger; Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger; und als Reaktion auf ein Empfangen einer durch den Job-Verfolger zugewiesenen Reduce-Aufgabe Lesen der Ausgaben der Map-Aufgabe vom Speichernetzwerk durch einen Reduce-Aufgaben-Verfolger.

公开(公告)号：DE112011101109B4

公开(公告)日：2019-02-07

申请号：DE112011101109

申请日：2011-03-14

Applicant: IBM

Inventor： XUE WEI ,  CAI BIN ,  XIANG ZHE ,  YANG BO ,  LI LI

IPC: G06F9/50 ,  G06F3/06

Abstract: Verfahren zur MapReduce-Datenübertragung in einem Rechenzentrum mit einem Speichernetzwerk, wobei das Rechenzentrum mehrere mit einem Job-Verfolger (701), Map-Aufgaben-Verfolgern (702) und Reduce-Aufgaben-Verfolgern (703) versehene Server enthält, wobei das Verfahren Folgendes aufweist:als Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Map-Aufgabe Durchführen (S401) einer Map-Aufgabe, was Bearbeitung an Schlüssel-Wert-Paaren umfasst,und Erzeugen von Ausgaben der Map-Aufgabe durch einen Map-Aufgaben-Verfolger (702), wobei die Ausgaben Zwischen-Schlüssel-Wert-Paare aufweisen;Schreiben (S402) der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch den Map-Aufgaben-Verfolger (702), was Schreiben der Ausgaben der Map-Aufgabe auf das Speichernetzwerk durch ein Speichernetzwerk-Dateisystem aufweist; undals Reaktion auf ein Empfangen einer durch den Job-Verfolger (701) zugewiesenen Reduce-Aufgabe Lesen (S403) der Ausgaben der Map-Aufgabe vom Speichernetzwerk durch einen Reduce-Aufgaben-Verfolger (703).

公开(公告)号：GB2491730A

公开(公告)日：2012-12-12

申请号：GB201212411

申请日：2011-03-14

Applicant: IBM

Inventor： XUE WEI ,  CAI BIN ,  XIANG ZHE ,  YANG BO ,  LI LI

IPC: G06F9/50 ,  H04L29/08

Abstract: A method for transmission of map/reduce data in a data center having a storage network (SAN), the data center including multiple servers deployed with a job tracker, map task trackers and reduce task trackers, the method comprising: in response to receiving a map task allocated by the job tracker, a map task tracker performing the map task and generating map task outputs; the map task tracker writing the map task outputs to the storage network; and in response to receiving a reduce task allocated by the job tracker, a reduce task tracker reading the map tasks outputs from the storage network.