公开(公告)号：DE112019000421T5

公开(公告)日：2020-10-01

申请号：DE112019000421

申请日：2019-03-20

Applicant: IBM

Inventor： ARONOVICH LIOR

IPC: G06F9/50

Abstract: Ein Verfahren, wie beschrieben, zur Arbeitslastverwaltung mit Datenzugriffserkennung in einem Datenverarbeitungscluster. Als Reaktion auf das Empfangen einer Eingabe-Arbeitslast zur Terminierung durch einen Arbeitslastmanager wird ein Satz von Eingaben durch ein Datenanforderungsauswertungsmodul aus einem Speichersystem abgerufen. Das Datenanforderungsauswertungsmodul erzeugt eine Liste von Cluster-Hosts, die zur Durchführung der Eingabe-Arbeitslast gemäß Datenzugriffsüberlegungen nach einer Rangfolge geordnet sind, und stellt einem Terminierungsmodul die nach einer Rangfolge geordnete Liste von Cluster-Hosts bereit. Das Terminierungsmodul erzeugt eine Terminierung der Eingabe-Arbeitslast an bestimmte Hosts innerhalb des Datenverarbeitungsclusters, wobei die erzeugte Terminierung mit den Datenzugriffsüberlegungen optimiert ist.

公开(公告)号：DE112018005973T5

公开(公告)日：2020-07-30

申请号：DE112018005973

申请日：2018-11-05

Applicant: IBM

Inventor： ARONOVICH LIOR ,  AHMED KHALID ,  PASQUANTONIO VINCENZO ,  FEIMAN MICHAEL

IPC: G06F9/445

Abstract: Ein Verfahren zur automatischen diagonalen Skalierung von Arbeitslasten in einer verteilten Datenverarbeitungsumgebung umfasst für jede Ressource von einer Vielzahl von Ressourcen einer jeden Anwendungsinstanz von einer Vielzahl von Anwendungsinstanzen eine Feststellung, ob eine Änderung der Zuordnung von mindestens einer der Vielzahl der Ressourcen erforderlich ist. Operationserfordernisse werden für jede der Vielzahl der Anwendungsinstanzen berechnet, wobei zu den berechneten Erfordernissen vertikale Erhöhungs- und Verminderungsoperationen sowie horizontale Aufteilungs- und Komprimierungsoperationen gehören. Die vertikalen Verminderungs- und die horizontalen Komprimierungsoperationen werden zuerst verarbeitet, für die vertikalen Erhöhungs- und die horizontalen Aufteilungsoperationen wird eine Reihenfolge festgelegt, und die vertikalen Erhöhungs- und die horizontalen Aufteilungsoperationen werden anschließend auf der Grundlage der Reihenfolge verarbeitet, wodurch die Effizienz der Anwendung und die Auslastung der Vielzahl der Ressourcen in der verteilten Datenverarbeitungsumgebung optimiert werden.

公开(公告)号：DE112012003503T5

公开(公告)日：2014-09-25

申请号：DE112012003503

申请日：2012-09-10

Applicant: IBM

Inventor： MEIRI EHUD ,  KLEIN SHMUEL T ,  TOAFF YAIR ,  HIRSCH MICHAEL ,  ASHER RON ,  ARONOVICH LIOR

IPC: G06F9/44 ,  G06F12/00

Abstract: Es werden beispielhafte Ausführungsformen von Verfahren, Systemen und Computerprogrammprodukten für eine skalierbare Datendeduplizierung bereitgestellt, die mit kleinen Daten-Chunks in einer Datenverarbeitungsumgebung arbeitet. In einer Ausführungsform wird lediglich beispielhaft für jeden der kleinen Daten-Chunks beruhend auf einer Verknüpfung einer Darstellung von in dem kleinen Daten-Chunk vorkommenden Zeichen mit einer Darstellung von Häufigkeiten des kleinen Daten-Chunks eine Signatur erzeugt. Eine Signatur wird beruhend auf einer Verknüpfung einer Darstellung von auftauchenden Zeichen erzeugt. Die Signatur wird dazu verwendet, beim Auswählen der zu deduplizierenden Daten zu helfen. Zusätzliche Ausführungsformen von Systemen und Computerprogrammprodukten werden dargelegt, die zugehörige Vorteile bereitstellen.

公开(公告)号：GB2508325A

公开(公告)日：2014-05-28

申请号：GB201406218

申请日：2012-09-10

Applicant: IBM

Inventor： ARONOVICH LIOR ,  ASHER RON ,  HIRSCH MICHAEL ,  KLEIN SHMUEL T ,  MEIRI EHUD ,  TOAFF YAIR

IPC: G06F17/30 ,  G06F3/06 ,  H03M7/30

Abstract: Exemplary method, system, and computer program product embodiments forscalable data deduplication working with small data chunk in a computing environment are provided. In one embodiment, by way of example only, for each of the small data chunk, a signature is generated based on a combination of a representation of characters that appear in the small data chunkwith a representation of frequencies of the small data chunk. A signature is generated based on a combination of a representation of characters that appear. The signature is used to help in selecting the data to be deduplicated. Additional system and computer program product embodiments are disclosed and provide related advantages.

公开(公告)号：AU2011335219B2

公开(公告)日：2015-06-04

申请号：AU2011335219

申请日：2011-11-16

Applicant: IBM

Inventor： ARONOVICH LIOR ,  TOAFF YAIR ,  HIRSCH MICHAEL

IPC: G06F11/14

Abstract: A deduplication storage system enables new input data to be deduplicated with data of synthetic backups already constructed, and for this purpose efficiently calculates deduplication digests for synthetic backups being constructed, based on already existing digests of data referenced by the synthetic backups. For each input data segment of the plurality of input data segments of a synthetic backup being constructed, a plurality of deduplication digests of stored data segments, referenced by the input data segment, is retrieved from an index. Each input data segment is partitioned into each of a plurality of fixed-sized data sub-segments. A calculation is performed producing a deduplication digest for a data sub-segment, where the calculation is based on the retrieved deduplication digests of the plurality of stored data sub-segments referenced by the input data sub-segment.

公开(公告)号：GB2513504A

公开(公告)日：2014-10-29

申请号：GB201414010

申请日：2012-12-14

Applicant: IBM

Inventor： HIRSCH MICHAEL ,  KLEIN SCHMUEL THOMAS ,  TOAFF YAIR ,  ARONOVICH LIOR

IPC: G06F11/10 ,  G06F12/16 ,  H03M13/09 ,  H03M13/29

Abstract: Exemplary method, system, and computer program product embodiments for an incremental modification of an error detection code operation are provided. In one embodiment, by way of example only, for a data block requiring a first error detection code (EDC) value to be calculated and verified and is undergoing modification for at least one randomly positioned sub-blocks that becomes available and modified in independent time intervals, a second EDC value is calculated for each of the randomly positioned sub-blocks. An incremental effect of the second EDC value is applied for calculating the first EDC value and for recalculating the first EDC value upon replacing at least one of the randomly positioned sub- blocks. The resource consumption is proportional to the size of at least one of the randomly positioned sub-blocks that are added and modified. Additional system and computer program product embodiments are disclosed and provide related advantages.

公开(公告)号：AU2005284737B2

公开(公告)日：2011-03-10

申请号：AU2005284737

申请日：2005-09-15

Applicant: IBM

Inventor： ARONOVICH LIOR ,  HIRSCH MICHAEL ,  BACHMAT EITAN ,  BITNER HAIM ,  KLEIN SHMUEL T ,  ASHER RON

IPC: G06F17/30

Abstract: A method comprising identifying input data in repository data wherein the repository data comprises repository data chunks and the input data comprise input data chunks and wherein each repository data chunk has a corresponding set of repository data chunk distinguishing characteristics, each distinguishing characteristic being stored with an RDC characteristic location, the method including the steps of, for each input data chunk: determining a set of input data chunk distinguishing characteristics, each distinguishing characteristic having an IDC characteristic location; then comparing the determined set of IDCs to one or more sets of RDCs; identifying a repository data chunk that is similar to the input data chunk as a function of the comparing of the determined set of IDCs to the one or more sets of RDCs, wherein a repository data chunk is identified as similar when a predetermined number of the distinguishing characteristics in the set of IDCs is found to match in a set of RDCs; outputting the IDC and RDC locations of at least one pair of matching IDC and RDC; and computing at least one common section of the input data chunk and the identified similar repository data chunk using the at least one pair of matching IDC and RDC as an anchor to define corresponding intervals in the input data chunk and the identified similar repository data chunk.

公开(公告)号：DE112017000167B4

公开(公告)日：2020-12-31

申请号：DE112017000167

申请日：2017-01-04

Applicant: IBM

Inventor： ARONOVICH LIOR ,  PASQUANTONIO VINCENZO

IPC: G06F16/00 ,  G06F16/215

Abstract: Verfahren zur verteilten Datendeduplizierung in einem Prozessorraster, aufweisend:Empfangen von Eingabedaten auf einem aufnehmenden Prozessor und Aufteilen der Eingabedaten in eine Vielzahl von Ähnlichkeitseinheiten;Berechnen eines entsprechenden Deduplizierungsmetadatenausschnitts und eines Eignerprozessors für eine der Ähnlichkeitseinheiten;Senden eines repräsentativen Werts und von entsprechenden Auszugswerten der Ähnlichkeitseinheit an den Eignerprozessor;Verwenden des Eignerprozessors zum Suchen nach dem repräsentativen Wert in dem entsprechenden Deduplizierungsmetadatenausschnitt;Verwenden des Eignerprozessors zum Senden einer Beschreibung und von Eignerprozessoren von berechneten identischen Datenabschnitten an den aufnehmenden Prozessor;Verwenden des aufnehmenden Prozessors zum Senden von nominalen Informationen über die berechneten identischen Datenabschnitte an die Eignerprozessoren der berechneten identischen Datenabschnitte;Verwenden der Eignerprozessoren der berechneten identischen Datenabschnitte zum Antworten an den aufnehmenden Prozessor mit Informationen über Speicherblöcke, welche die identischen Datenabschnitte speichern; undDurchführen mindestens eines der Folgenden durch den aufnehmenden Prozessor:Speichern von Daten, für die keine Übereinstimmungen in lokalen Speicherblöcken gefunden wurden, undHinzufügen von Verweisen auf die Speicherblöcke, deren Informationen durch die Eignerprozessoren der berechneten identischen Datenabschnitte bereitgestellt werden.

公开(公告)号：DE112018005268T5

公开(公告)日：2020-07-02

申请号：DE112018005268

申请日：2018-11-05

Applicant: IBM

Inventor： ARONOVICH LIOR

IPC: G06F9/48

Abstract: Ausführungsformen für das Priorisieren von Anwendungen für diagonale Skalierungsoperationen in einer verteilten Datenverarbeitungsumgebung. Ein Signifikanzwert einer Anwendung von einer Vielzahl von Anwendungen wird definiert, wobei der Signifikanzwert eine Wichtigkeit der Anwendung oder der durch die Anwendung durchgeführten Funktionalität darstellt, und Abhängigkeiten zwischen der Vielzahl der Anwendungen werden konfiguriert. Ein Signifikanzwert einer Abhängigkeit einer abhängigen Anwendung von einer vorhergehenden der Vielzahl der Anwendungen wird definiert und Prioritäten für jede der Vielzahl der Anwendungen werden auf der Grundlage der Signifikanzwerte einer jeden der Vielzahl der Anwendungen und jeweiligen Abhängigkeiten zwischen ihnen berechnet, um die diagonalen Skalierungsoperationen von Ressourcen durchzuführen, die einer jeden der Anwendungen in der verteilten Datenverarbeitungsumgebung zugeordnet sind.

公开(公告)号：DE112017000167T5

公开(公告)日：2018-06-28

申请号：DE112017000167

申请日：2017-01-04

Applicant: IBM

Inventor： ARONOVICH LIOR ,  PASQUANTONIO VINCENZO

IPC: G06F17/30

Abstract: Es geht um ein Verfahren zur verteilten Datendeduplizierung in einem Prozessorraster. Eingabedaten werden auf einem Prozessor empfangen. Die Eingabedaten werden in eine Vielzahl von Ähnlichkeitseinheiten aufgeteilt. Es werden ein entsprechender Deduplizierungsmetadatenausschnitt und ein Eignerprozessor für eine der Ähnlichkeitseinheiten berechnet. Ein repräsentativer Wert und entsprechende Auszugswerte der Ähnlichkeitseinheit werden an den Eignerprozessor gesendet. Der Eignerprozessor wird zum Suchen nach dem repräsentativen Wert in dem Deduplizierungsmetadatenausschnitt und zum Senden einer Beschreibung und von Eignerprozessoren von berechneten identischen Datenabschnitten an den Prozessor verwendet. Der Prozessor wird zum Senden von nominalen Informationen über die berechneten identischen Datenabschnitte an die Eignerprozessoren der Daten verwendet, auf die durch die berechneten identischen Datenabschnitte verwiesen wird.