时序数据预统计方法、装置及存储介质

    公开(公告)号:CN113761013B

    公开(公告)日:2024-08-09

    申请号:CN202010504704.8

    申请日:2020-06-05

    Abstract: 本申请公开了一种时序数据预统计方法、装置及存储介质,属于大数据处理领域。在本申请中,时序数据表包括的时序数据按照元数据和数据点的格式存储,元数据用于描述相应的数据点以及相应的数据采集端,数据点包括多个采集时间以及在每个采集时间采集的一个或多个监测数据,且用时序数据描述表来存储时序数据表中的时序数据的描述信息。也即是,本申请方案中对时序数据的存储类型进行了结构优化,每条监测记录可以包括一个数据采集端在多个采集时间采集的各个监测数据,这样,遍历一个表项可以获取更多的数据,提高预统计中的检索效率,且预统计时无需进行表关联,大大提高预统计效率。

    一种基于Hbase的时序数据存储方法、装置及设备

    公开(公告)号:CN112732714B

    公开(公告)日:2023-05-09

    申请号:CN202011619878.5

    申请日:2020-12-30

    Abstract: 本发明公开了一种基于Hbase的时序数据存储方法、装置及设备,该方法包括:获取数据源所产生的一条时序数据;对多个数据标签、至少一个监控指标分别进行排序得到标签排序结果、指标排序结果,并与数据名称相关联得到排序关系;按照预设时间间隔划分时间戳,并记录数据产生时间所对应的时间戳;将数据名称、识别标签和所述数据产生时间所对应的时间戳组成行键,将所述多个数据标签中除识别标签以外的数据标签按照标签排序结果组成标签列簇的列,将所述至少一个监控指标按照指标排序结果组成属性列簇的列,得到多值模型存储结构;将多值模型存储结构、排序关系存储至HBase数据库中。应用本发明能够让数据标签与行键解耦,避免冗余存储。

    数据查询的方法和装置
    3.
    发明公开

    公开(公告)号:CN113535770A

    公开(公告)日:2021-10-22

    申请号:CN202010324062.3

    申请日:2020-04-22

    Abstract: 本申请公开了一种数据查询的方法和装置,属于数据库技术领域。所述方法包括:接收终端发送的数据查询请求,其中,所述数据查询请求中携带有待查询度量项、至少一个待查询标签和数据写入时间信息;在存储的预设度量项、预设标签键的标签值和时间线的对应关系中,确定所述待查询度量项和所述至少一个待查询标签中的标签值共同对应的目标时间线;基于所述数据写入时间信息和所述目标时间线,生成目标行键;基于所述目标行键对应的数据,向所述终端返回查询结果数据。本申请可以提高数据查询效率。

    一种数据查询方法、装置、服务器及存储介质

    公开(公告)号:CN115905277A

    公开(公告)日:2023-04-04

    申请号:CN202111164687.9

    申请日:2021-09-30

    Abstract: 本发明实施例提供了一种数据查询方法、装置、服务器及存储介质,方法包括:获取数据查询请求,并根据数据查询请求所指示的时间区间,构造多个时间条件,每个时间条件对应一个时间子区间,获取符合当前时间条件的时间子区间对应的一批时序数据,对时间子区间对应的一批时序数据按照预设处理方式进行处理,得到对应的处理结果,将处理结果与当前已存储的处理结果进行合并,在此过程中,确定下一时间条件为当前时间条件,并返回获取当前时间条件的时间子区间对应的一批时序数据的步骤,直到数据为最后一批时序数据,将当前已存储的处理结果确定为查询结果。对当前一批时序数据处理的同时拉取下一时间条件对应的一批时序数据,提升了数据查询效率。

    时序数据预统计方法、装置及存储介质

    公开(公告)号:CN113761013A

    公开(公告)日:2021-12-07

    申请号:CN202010504704.8

    申请日:2020-06-05

    Abstract: 本申请公开了一种时序数据预统计方法、装置及存储介质,属于大数据处理领域。在本申请中,时序数据表包括的时序数据按照元数据和数据点的格式存储,元数据用于描述相应的数据点以及相应的数据采集端,数据点包括多个采集时间以及在每个采集时间采集的一个或多个监测数据,且用时序数据描述表来存储时序数据表中的时序数据的描述信息。也即是,本申请方案中对时序数据的存储类型进行了结构优化,每条监测记录可以包括一个数据采集端在多个采集时间采集的各个监测数据,这样,遍历一个表项可以获取更多的数据,提高预统计中的检索效率,且预统计时无需进行表关联,大大提高预统计效率。

    一种Hbase表中冷热数据转换方法、装置及电子设备

    公开(公告)号:CN113704346A

    公开(公告)日:2021-11-26

    申请号:CN202010430568.2

    申请日:2020-05-20

    Abstract: 本发明实施例提供了一种Hbase表中冷热数据转换方法、装置及电子设备,包括:在各热存储区间中,确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的目标热存储区间,并且将目标热存储区间变更为存储冷数据的冷存储区间,以使目标热存储区间存储的热数据转换为冷数据,冷存储区间为在第二硬盘上存储冷数据的存储区间,由于可以将满足一定条件的热存储区间变更为存储冷数据的冷存储区间,不需要将数据从存储热数据的表中迁移到存储热数据的表中,减轻了冷热数据的变更对数据库造成的存储负担。

    数据查询的方法和装置
    7.
    发明授权

    公开(公告)号:CN113535770B

    公开(公告)日:2024-06-14

    申请号:CN202010324062.3

    申请日:2020-04-22

    Abstract: 本申请公开了一种数据查询的方法和装置,属于数据库技术领域。所述方法包括:接收终端发送的数据查询请求,其中,所述数据查询请求中携带有待查询度量项、至少一个待查询标签和数据写入时间信息;在存储的预设度量项、预设标签键的标签值和时间线的对应关系中,确定所述待查询度量项和所述至少一个待查询标签中的标签值共同对应的目标时间线;基于所述数据写入时间信息和所述目标时间线,生成目标行键;基于所述目标行键对应的数据,向所述终端返回查询结果数据。本申请可以提高数据查询效率。

    一种Hbase表中冷热数据转换方法、装置及电子设备

    公开(公告)号:CN113704346B

    公开(公告)日:2024-06-04

    申请号:CN202010430568.2

    申请日:2020-05-20

    Abstract: 本发明实施例提供了一种Hbase表中冷热数据转换方法、装置及电子设备,包括:在各热存储区间中,确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的目标热存储区间,并且将目标热存储区间变更为存储冷数据的冷存储区间,以使目标热存储区间存储的热数据转换为冷数据,冷存储区间为在第二硬盘上存储冷数据的存储区间,由于可以将满足一定条件的热存储区间变更为存储冷数据的冷存储区间,不需要将数据从存储热数据的表中迁移到存储热数据的表中,减轻了冷热数据的变更对数据库造成的存储负担。

    一种基于Hbase的时序数据存储方法、装置及设备

    公开(公告)号:CN112732714A

    公开(公告)日:2021-04-30

    申请号:CN202011619878.5

    申请日:2020-12-30

    Abstract: 本发明公开了一种基于Hbase的时序数据存储方法、装置及设备,该方法包括:获取数据源所产生的一条时序数据;对多个数据标签、至少一个监控指标分别进行排序得到标签排序结果、指标排序结果,并与数据名称相关联得到排序关系;按照预设时间间隔划分时间戳,并记录数据产生时间所对应的时间戳;将数据名称、识别标签和所述数据产生时间所对应的时间戳组成行键,将所述多个数据标签中除识别标签以外的数据标签按照标签排序结果组成标签列簇的列,将所述至少一个监控指标按照指标排序结果组成属性列簇的列,得到多值模型存储结构;将多值模型存储结构、排序关系存储至HBase数据库中。应用本发明能够让数据标签与行键解耦,避免冗余存储。

Patent Agency Ranking