拉链升级方法、装置、设备、存储介质及计算机程序产品

    公开(公告)号:CN119441243A

    公开(公告)日:2025-02-14

    申请号:CN202411678915.8

    申请日:2024-11-21

    Abstract: 本申请涉及大数据技术领域,公开了一种拉链升级方法、装置、设备、存储介质及计算机程序产品,该方法包括:获取变更数据,在生效表中新建当前时间分区,并将生效表的上一时间分区中的数据拷贝至当前时间分区,生效表为基于Hudi的COW类型生效表,对变更数据进行加工处理,将处理后数据插入当前时间分区,并通过目标操作对生效表的当前时间分区中的数据进行更新,其中,目标操作为结合PreCombine与Payload技术的特定操作,根据生效表异步更新失效表,失效表为基于Hudi的COW类型失效表;从而解决了拉链表更新速度慢、重传/回滚过程复杂、因需筛选而统计效率低下的问题。

    数据分布管理方法、装置、设备、存储介质及产品

    公开(公告)号:CN119148933A

    公开(公告)日:2024-12-17

    申请号:CN202411179634.8

    申请日:2024-08-26

    Abstract: 本申请公开了一种数据分布管理方法,涉及计算机技术领域,公开了数据分布管理方法,包括:获取所述第二区域集群发送的待存储数据,并提取所述待存储数据的数据特征信息,其中,所述数据特征信息包括属性信息;对所述数据特征信息进行目录匹配,得到目录匹配结果,其中,所述目录匹配结果包括目标目录层级;将所述待存储数据保存至预设的联邦数据目录下对应所述目标目录层级的目录层,以实现不同属性信息的数据的分层管理。本申请通过对第二区域集群的待存储数据的数据特征信息,与联邦数据目录进行匹配,实现了第一区域集群与第二区域集群之间数据的有序流动以及不同属性信息的数据的分层管理,进而提高数据分布管理的合理性。

    数据迁移方法和装置
    3.
    发明公开

    公开(公告)号:CN116955309A

    公开(公告)日:2023-10-27

    申请号:CN202210937600.5

    申请日:2022-08-05

    Abstract: 本申请涉及数据迁移技术领域,提供一种数据迁移方法和装置。所述方法包括:读取源数据库中的待迁移数据;将所述待迁移数据转换成中间数据;获取目标数据库的目标数据格式;将所述中间数据的格式转换成所述目标数据格式;确定迁移阈值,根据所述迁移阈值将所述目标数据格式的所述中间数据迁移至所述目标数据库。本申请实施例提供的数据迁移方法,无需预先进行代码的人工配置,也不需要考虑数据库类型,从而摆脱了海量数据的人工迁移,实现数据迁移的自动化,有效提升了数据迁移效率以及准确率。

    数据湖索引创建方法、装置、电子设备及计算机存储介质

    公开(公告)号:CN116186041A

    公开(公告)日:2023-05-30

    申请号:CN202310143967.4

    申请日:2023-02-21

    Abstract: 本申请公开了一种数据湖索引创建方法、装置、电子设备及计算机存储介质,在数据湖获取到目标数据的情况下,获取目标数据的数据动态变化信息,再根据目标数据的数据动态变化信息,提取目标数据的数据特征。最后根据提取到的目标数据的数据特征,创建数据湖索引。如此,在数据动态入湖过程中,对目标数据变更记录进行实时采集探查,构建生成目标数据的数据特征,进而触发索引管理服务进行索引的自动创建,提高了数据湖索引创建的灵活性,并且由于是根据入湖数据自身的数据特征针对性地进行索引创建,以此基于创建的数据湖索引进行数据查询时可提高数据检索性能。

    数据分析方法、装置、设备、介质及产品

    公开(公告)号:CN117992452A

    公开(公告)日:2024-05-07

    申请号:CN202410118887.8

    申请日:2024-01-29

    Abstract: 本申请公开了一种数据分析方法、装置、设备、介质及产品,包括:创建和/或初始化第一布隆过滤器和第二布隆过滤器;获取待处理数据,每个键值关联至少一条数据记录;在第一布隆过滤器不包含待处理数据的键值的情况下,在第一布隆过滤器中记录待处理数据的键值,并将待处理数据的行号索引写入第一索引分组;在第一布隆过滤器包含待处理数据的键值的情况下,在第二布隆过滤器中记录待处理数据的键值;针对第一索引分组中的每一行待处理数据,基于第二布隆过滤器是否包含待处理数据的键值的遍历结果,从待处理数据关联的所有键值中筛选出目标键值,目标键值为仅关联一条数据记录的键值;从待处理数据中,直接输出由目标键值组成的目标待处理数据。

    数据传输方法、装置、设备、存储介质以及产品

    公开(公告)号:CN119336475A

    公开(公告)日:2025-01-21

    申请号:CN202411603838.X

    申请日:2024-11-11

    Abstract: 本申请公开了一种数据传输方法、装置、设备、存储介质以及产品,涉及数据传输技术领域,方法通过根据预先生成的数据传输任务配置信息生成原始数据传输任务,数据传输任务配置信息包括双端数据模型和任务优先级;基于双端数据模型,将原始数据传输任务转换为目标数据传输任务;基于任务优先级和预设的优先级调度评分算法对目标传输任务进行优先级调度评分,得到任务调度队列;基于任务调度队列和目标数据传输任务进行数据传输,通过上述方案将数据传输任务按照数据模型进行转换,得到的目标数据传输任务可以为批式数据传输或流式数据传输,此外通过优先级排序确保所有任务按需有序执行,显著提高了数据传输系统的效率和泛用性。

Patent Agency Ranking