-
公开(公告)号:CN114691024A
公开(公告)日:2022-07-01
申请号:CN202011641633.2
申请日:2020-12-31
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 一种数据预取的方法,在预取数据之前,先获取第一数据访问请求,并根据第一数据访问请求以及数据生命周期确定数据预取策略,从而根据该数据预取策略将存储在第二存储介质的第一数据集存储至第一存储介质中,其中,第一数据集中包括至少一个数据,数据预取策略至少包括预取长度,而数据生命周期用于指示数据在第一存储介质中存储的时长,第二存储介质的读写访问速率低于第一存储介质。如此,通过采用自适应的方式动态调整单次预取数据的预取长度,可以根据上一数据访问请求,为下一数据访问请求提前预取合适长度的数据至第一存储介质,而从而可以尽可能避免出现单次预取数据过多或者单次预取数据过少。
-
公开(公告)号:CN106775461B
公开(公告)日:2020-01-21
申请号:CN201611080936.5
申请日:2016-11-30
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种热点数据确定方法,属于存储技术领域。该方法包括:获取历史数据访问记录,该历史数据访问记录用于指示存储设备中的各个数据段各自的相邻两次被访问的时间间隔;根据该各个数据段各自的相邻两次被访问的时间间隔确定时间间隔阈值;对于该各个数据段中的每一个数据段,当该数据段的相邻两次被访问的时间间隔与该时间间隔阈值满足预设条件时,将该数据段中的数据确定为热点数据。该方法按照存储设备中的各个数据段各自的相邻两次被访问的时间间隔来确定时间间隔阈值,能够提高热点数据确定的准确性。
-
公开(公告)号:CN115857792A
公开(公告)日:2023-03-28
申请号:CN202111116330.3
申请日:2021-09-23
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种数据处理方法,包括:获取与存储节点的内存的性能相关的参数,根据该参数调整聚合策略,根据调整后的聚合策略将内存中的第一输入输出IO请求聚合为第二IO请求,并将第二IO请求对应的数据进行持久性存储。一方面,存储节点通过将小IO请求聚合为大IO请求,避免了小IO请求对整个分布式存储系统的性能的影响,另一方面,通过自适应调整聚合策略,可以避免按照参数固定的聚合策略进行聚合导致内存很快被写满,进而影响分布式存储系统整体的性能。
-
-
公开(公告)号:CN116414828A
公开(公告)日:2023-07-11
申请号:CN202111676219.X
申请日:2021-12-31
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种数据管理方法,包括:获取待写入的数据,待写入的数据包括第一键值对,第一键值对包括第一键名和键值,将第一键名转换为长度为预设值的第二键名,生成第二键值对,第二键值对包括第二键名与键值,并记录第二键名与第一键名的映射关系,存储第二键值对与映射关系。该方法统一了定长键名和变长键名的存储,无需额外存储键名的长度,节省了存储空间,降低了存储成本。
-
公开(公告)号:CN114968073A
公开(公告)日:2022-08-30
申请号:CN202110221620.8
申请日:2021-02-27
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本申请提供了一种数据预取的方法、设备及系统,该方法应用于包括多种数据流的预取系统,该预取系统包括第一存储器和第二存储器,该方法包括以下步骤:获取第一存储器的多个分区的统计数据,统计数据用于指示多个分区中每个分区所包括的数据流的历史情况,根据多个分区的统计数据确定预取策略,预取策略用于指示预取数据的位置和预取数据的大小,根据预取策略执行预取操作。本申请提供的数据预取方法可根据每个分区内数据流的特征,针对性确定每个分区的预取策略,可以避免多种数据流之间互相干扰导致预取效果差的问题,提高缓存命中率。
-
公开(公告)号:CN106775461A
公开(公告)日:2017-05-31
申请号:CN201611080936.5
申请日:2016-11-30
Applicant: 华为技术有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种热点数据确定方法,属于存储技术领域。该方法包括:获取历史数据访问记录,该历史数据访问记录用于指示存储设备中的各个数据段各自的相邻两次被访问的时间间隔;根据该各个数据段各自的相邻两次被访问的时间间隔确定时间间隔阈值;对于该各个数据段中的每一个数据段,当该数据段的相邻两次被访问的时间间隔与该时间间隔阈值满足预设条件时,将该数据段中的数据确定为热点数据。该方法按照存储设备中的各个数据段各自的相邻两次被访问的时间间隔来确定时间间隔阈值,能够提高热点数据确定的准确性。
-
-
-
-
-
-