公开(公告)号：DE112012005635T5

公开(公告)日：2014-10-09

申请号：DE112012005635

申请日：2012-12-14

Applicant: IBM

Inventor： HIRSCH MICHAEL ,  KLEIN SCHMUEL THOMAS ,  TOAFF YAIR ,  ARONOVICH LIOR

IPC: G06F11/10 ,  G06F12/16 ,  H03M13/29

Abstract: Es werden beispielhafte Ausführungsformen eines Verfahrens, eines Systems und eines Computerprogrammprodukts zum inkrementellen Modifizieren eines Fehlererkennungscodes bereitgestellt. Gemäß einer Ausführungsform, die nur als Beispiel dient, wird für einen Datenblock, für den ein Wert eines ersten Fehlererkennungscodes (EDC) berechnet und geprüft werden soll und der in mindestens einem zufällig angeordneten Unterblock eine Modifizierung erfährt, der in unabhängigen Zeitintervallen verfügbar und modifiziert wird, ein zweiter EDC-Wert für jeden der zufällig angeordneten Unterblöcke berechnet. Ein inkrementeller Effekt des zweiten EDC-Wertes wird zum Berechnen des ersten EDC-Wertes und zum Neuberechnen des ersten EDC-Wertes nach dem Ersetzen mindestens eines der zufällig angeordneten Unterblöcke eingesetzt. Die Inanspruchnahme von Ressourcen ist proportional der Größe mindestens eines der zufällig angeordneten Unterblöcke, die hinzugefügt und modifiziert werden. Es werden weitere Ausführungsformen eines Systems und eines Computerprogrammprodukts offenbart, die ähnliche Vorteile bieten.

公开(公告)号：CA2817119A1

公开(公告)日：2012-06-07

申请号：CA2817119

申请日：2011-11-16

Applicant: IBM

Inventor： ARONOVICH LIOR ,  TOAFF YAIR ,  HIRSCH MICHAEL

IPC: G06F11/14

Abstract: A deduplication storage system enables new input data to be deduplicated with data of synthetic backups already constructed, and for this purpose efficiently calculates deduplication digests for synthetic backups being constructed, based on already existing digests of data referenced by the synthetic backups. For each input data segment of the plurality of input data segments of a synthetic backup being constructed, a plurality of deduplication digests of stored data segments, referenced by the input data segment, is retrieved from an index. Each input data segment is partitioned into each of a plurality of fixed-sized data sub-segments. A calculation is performed producing a deduplication digest for a data sub-segment, where the calculation is based on the retrieved deduplication digests of the plurality of stored data sub-segments referenced by the input data sub-segment.

公开(公告)号：DE112014000448T5

公开(公告)日：2015-10-15

申请号：DE112014000448

申请日：2014-02-12

Applicant: IBM

Inventor： ARONOVIC LIOR ,  HIRSCH MICHAEL ,  AKIRAV SHAY HAIM ,  BEN-DOR SHIRA ,  LENEMAN OFER

IPC: G06F17/30

Abstract: Zum Abrufen von Auszügen beruhend auf einer Ähnlichkeitssuche bei der Deduplizierungsverarbeitung in einem Datendeduplizierungssystem unter Verwendung einer Prozessoreinheit in einer Datenverarbeitungsumgebung werden Eingabedaten in Daten-Chunks mit fester Größe aufgeteilt. Für jeden der Daten-Chunks mit fester Größe werden Ähnlichkeitselemente und Auszugsblockbegrenzungen und Auszugswerte berechnet. In einer die Ähnlichkeitselemente für jeden der Daten-Chunks mit fester Größe in einem Daten-Repository enthaltenden Suchstruktur wird nach übereinstimmenden Ähnlichkeitselementen gesucht. Positionen ähnlicher Daten werden in dem Repository ausfindig gemacht. Die Positionen der ähnlichen Daten werden zum Ausfindigmachen von gespeicherten Auszugswerten und entsprechenden gespeicherten Auszugsblockbegrenzungen der ähnlichen Daten in dem Repository und zum Laden dieser in den Hauptspeicher verwendet. Die Auszugswerte und die entsprechenden Auszugsblockbegrenzungen der Eingabedaten werden mit den gespeicherten Auszugswerten und den entsprechenden gespeicherten Auszugsblockbegrenzungen abgeglichen, um Datenübereinstimmungen zu finden.

公开(公告)号：DE112013000392T5

公开(公告)日：2014-09-04

申请号：DE112013000392

申请日：2013-01-17

Applicant: IBM

Inventor： HIRSCH MICHAEL ,  KLEIN SHMUEL THOMAS ,  TOAFF YAIR

IPC: G06F15/16

Abstract: Bereitgestellt werden beispielhafte Ausführungsformen eines Verfahrens, Systems und Computerprogrammprodukts zum vollen Ausnutzen von Parallelprozessoren zum Verarbeiten von Daten. In einer Ausführungsform wird lediglich als Beispiel eine Gruppe von Parallelprozessoren gemäß Indizes der Gruppe von Parallelprozessoren in unverbundene Teilgruppen aufgeteilt. Die Größe jeder der unverbundenen Teilgruppen entspricht einer Anzahl von Prozessoren, die dem Verarbeiten von Daten-Chunks in einer der Schichten zugewiesen werden. Jeder der Prozessoren wird unterschiedlichen Schichten in unterschiedlichen Daten-Chunks zugewiesen, sodass jeder der Prozessoren beschäftigt ist und die Daten-Chunks vollständig innerhalb einer Anzahl von Zeitschritten verarbeitet werden, die gleich der Anzahl von Schichten ist. Es wird eine Übergangsfunktion von den Indizes der Gruppe von Parallelprozessoren in einem der Zeitschritte zu den Indizes der Gruppe der Parallelprozessoren in einem folgenden Zeitschritt entworfen.

公开(公告)号：CA2817119C

公开(公告)日：2019-09-10

申请号：CA2817119

申请日：2011-11-16

Applicant: IBM

Inventor： ARONOVICH LIOR ,  TOAFF YAIR ,  HIRSCH MICHAEL

IPC: G06F11/14

Abstract: A deduplication storage system enables new input data to be deduplicated with data of synthetic backups already constructed, and for this purpose efficiently calculates deduplication digests for synthetic backups being constructed, based on already existing digests of data referenced by the synthetic backups. For each input data segment of the plurality of input data segments of a synthetic backup being constructed, a plurality of deduplication digests of stored data segments, referenced by the input data segment, is retrieved from an index. Each input data segment is partitioned into each of a plurality of fixed-sized data sub-segments. A calculation is performed producing a deduplication digest for a data sub-segment, where the calculation is based on the retrieved deduplication digests of the plurality of stored data sub-segments referenced by the input data sub-segment.

公开(公告)号：AU2011335219A1

公开(公告)日：2013-04-04

申请号：AU2011335219

申请日：2011-11-16

Applicant: IBM

Inventor： ARONOVICH LIOR ,  TOAFF YAIR ,  HIRSCH MICHAEL

IPC: G06F11/14

Abstract: A deduplication storage system enables new input data to be deduplicated with data of synthetic backups already constructed, and for this purpose efficiently calculates deduplication digests for synthetic backups being constructed, based on already existing digests of data referenced by the synthetic backups. For each input data segment of the plurality of input data segments of a synthetic backup being constructed, a plurality of deduplication digests of stored data segments, referenced by the input data segment, is retrieved from an index. Each input data segment is partitioned into each of a plurality of fixed-sized data sub-segments. A calculation is performed producing a deduplication digest for a data sub-segment, where the calculation is based on the retrieved deduplication digests of the plurality of stored data sub-segments referenced by the input data sub-segment.

公开(公告)号：DE112012003503T5

公开(公告)日：2014-09-25

申请号：DE112012003503

申请日：2012-09-10

Applicant: IBM

Inventor： MEIRI EHUD ,  KLEIN SHMUEL T ,  TOAFF YAIR ,  HIRSCH MICHAEL ,  ASHER RON ,  ARONOVICH LIOR

IPC: G06F9/44 ,  G06F12/00

Abstract: Es werden beispielhafte Ausführungsformen von Verfahren, Systemen und Computerprogrammprodukten für eine skalierbare Datendeduplizierung bereitgestellt, die mit kleinen Daten-Chunks in einer Datenverarbeitungsumgebung arbeitet. In einer Ausführungsform wird lediglich beispielhaft für jeden der kleinen Daten-Chunks beruhend auf einer Verknüpfung einer Darstellung von in dem kleinen Daten-Chunk vorkommenden Zeichen mit einer Darstellung von Häufigkeiten des kleinen Daten-Chunks eine Signatur erzeugt. Eine Signatur wird beruhend auf einer Verknüpfung einer Darstellung von auftauchenden Zeichen erzeugt. Die Signatur wird dazu verwendet, beim Auswählen der zu deduplizierenden Daten zu helfen. Zusätzliche Ausführungsformen von Systemen und Computerprogrammprodukten werden dargelegt, die zugehörige Vorteile bereitstellen.

公开(公告)号：GB2508325A

公开(公告)日：2014-05-28

申请号：GB201406218

申请日：2012-09-10

Applicant: IBM

Inventor： ARONOVICH LIOR ,  ASHER RON ,  HIRSCH MICHAEL ,  KLEIN SHMUEL T ,  MEIRI EHUD ,  TOAFF YAIR

IPC: G06F17/30 ,  G06F3/06 ,  H03M7/30

Abstract: Exemplary method, system, and computer program product embodiments forscalable data deduplication working with small data chunk in a computing environment are provided. In one embodiment, by way of example only, for each of the small data chunk, a signature is generated based on a combination of a representation of characters that appear in the small data chunkwith a representation of frequencies of the small data chunk. A signature is generated based on a combination of a representation of characters that appear. The signature is used to help in selecting the data to be deduplicated. Additional system and computer program product embodiments are disclosed and provide related advantages.

公开(公告)号：AU2011335219B2

公开(公告)日：2015-06-04

申请号：AU2011335219

申请日：2011-11-16

Applicant: IBM

Inventor： ARONOVICH LIOR ,  TOAFF YAIR ,  HIRSCH MICHAEL

IPC: G06F11/14

Abstract: A deduplication storage system enables new input data to be deduplicated with data of synthetic backups already constructed, and for this purpose efficiently calculates deduplication digests for synthetic backups being constructed, based on already existing digests of data referenced by the synthetic backups. For each input data segment of the plurality of input data segments of a synthetic backup being constructed, a plurality of deduplication digests of stored data segments, referenced by the input data segment, is retrieved from an index. Each input data segment is partitioned into each of a plurality of fixed-sized data sub-segments. A calculation is performed producing a deduplication digest for a data sub-segment, where the calculation is based on the retrieved deduplication digests of the plurality of stored data sub-segments referenced by the input data sub-segment.

公开(公告)号：GB2513504A

公开(公告)日：2014-10-29

申请号：GB201414010

申请日：2012-12-14

Applicant: IBM

Inventor： HIRSCH MICHAEL ,  KLEIN SCHMUEL THOMAS ,  TOAFF YAIR ,  ARONOVICH LIOR

IPC: G06F11/10 ,  G06F12/16 ,  H03M13/09 ,  H03M13/29

Abstract: Exemplary method, system, and computer program product embodiments for an incremental modification of an error detection code operation are provided. In one embodiment, by way of example only, for a data block requiring a first error detection code (EDC) value to be calculated and verified and is undergoing modification for at least one randomly positioned sub-blocks that becomes available and modified in independent time intervals, a second EDC value is calculated for each of the randomly positioned sub-blocks. An incremental effect of the second EDC value is applied for calculating the first EDC value and for recalculating the first EDC value upon replacing at least one of the randomly positioned sub- blocks. The resource consumption is proportional to the size of at least one of the randomly positioned sub-blocks that are added and modified. Additional system and computer program product embodiments are disclosed and provide related advantages.