-
公开(公告)号:CN119441243A
公开(公告)日:2025-02-14
申请号:CN202411678915.8
申请日:2024-11-21
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
Abstract: 本申请涉及大数据技术领域,公开了一种拉链升级方法、装置、设备、存储介质及计算机程序产品,该方法包括:获取变更数据,在生效表中新建当前时间分区,并将生效表的上一时间分区中的数据拷贝至当前时间分区,生效表为基于Hudi的COW类型生效表,对变更数据进行加工处理,将处理后数据插入当前时间分区,并通过目标操作对生效表的当前时间分区中的数据进行更新,其中,目标操作为结合PreCombine与Payload技术的特定操作,根据生效表异步更新失效表,失效表为基于Hudi的COW类型失效表;从而解决了拉链表更新速度慢、重传/回滚过程复杂、因需筛选而统计效率低下的问题。
-
公开(公告)号:CN119148933A
公开(公告)日:2024-12-17
申请号:CN202411179634.8
申请日:2024-08-26
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
Abstract: 本申请公开了一种数据分布管理方法,涉及计算机技术领域,公开了数据分布管理方法,包括:获取所述第二区域集群发送的待存储数据,并提取所述待存储数据的数据特征信息,其中,所述数据特征信息包括属性信息;对所述数据特征信息进行目录匹配,得到目录匹配结果,其中,所述目录匹配结果包括目标目录层级;将所述待存储数据保存至预设的联邦数据目录下对应所述目标目录层级的目录层,以实现不同属性信息的数据的分层管理。本申请通过对第二区域集群的待存储数据的数据特征信息,与联邦数据目录进行匹配,实现了第一区域集群与第二区域集群之间数据的有序流动以及不同属性信息的数据的分层管理,进而提高数据分布管理的合理性。
-
公开(公告)号:CN116955309A
公开(公告)日:2023-10-27
申请号:CN202210937600.5
申请日:2022-08-05
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/21
Abstract: 本申请涉及数据迁移技术领域,提供一种数据迁移方法和装置。所述方法包括:读取源数据库中的待迁移数据;将所述待迁移数据转换成中间数据;获取目标数据库的目标数据格式;将所述中间数据的格式转换成所述目标数据格式;确定迁移阈值,根据所述迁移阈值将所述目标数据格式的所述中间数据迁移至所述目标数据库。本申请实施例提供的数据迁移方法,无需预先进行代码的人工配置,也不需要考虑数据库类型,从而摆脱了海量数据的人工迁移,实现数据迁移的自动化,有效提升了数据迁移效率以及准确率。
-
公开(公告)号:CN119357699A
公开(公告)日:2025-01-24
申请号:CN202411605240.4
申请日:2024-11-11
Applicant: 中移动信息技术有限公司 , 中国移动通信集团重庆有限公司 , 中国移动通信集团有限公司
IPC: G06F18/22 , G06F16/215 , G06F16/242 , G06F16/23 , G06F16/22 , G06F40/216
Abstract: 本申请公开了一种相似模型的识别方法、装置、设备、存储介质及产品,涉及数据开发技术领域,公开了相似模型的识别方法,包括:获取新建应用模型的原始业务字段;基于新建应用模型与新建应用模型的前置模型的数据血缘关系,识别原始业务字段所依赖的前置模型字段,并从全量业务字段标准库中获取前置模型字段的标准业务字段;采用标准业务字段更新原始业务字段,得到新建应用模型的标准应用模型;根据标准应用模型与前置模型的相似度,确定新建应用模型与前置模型的相似度,解决重复开发相似模型,模型开发成本增加的问题,降低模型开发成本。
-
公开(公告)号:CN116186041A
公开(公告)日:2023-05-30
申请号:CN202310143967.4
申请日:2023-02-21
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/22
Abstract: 本申请公开了一种数据湖索引创建方法、装置、电子设备及计算机存储介质,在数据湖获取到目标数据的情况下,获取目标数据的数据动态变化信息,再根据目标数据的数据动态变化信息,提取目标数据的数据特征。最后根据提取到的目标数据的数据特征,创建数据湖索引。如此,在数据动态入湖过程中,对目标数据变更记录进行实时采集探查,构建生成目标数据的数据特征,进而触发索引管理服务进行索引的自动创建,提高了数据湖索引创建的灵活性,并且由于是根据入湖数据自身的数据特征针对性地进行索引创建,以此基于创建的数据湖索引进行数据查询时可提高数据检索性能。
-
公开(公告)号:CN118606356A
公开(公告)日:2024-09-06
申请号:CN202410851447.3
申请日:2024-06-27
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/2453 , G06F16/2458 , G06F16/22
Abstract: 本申请公开了一种集合操作符查询优化方法、装置、设备、存储介质及产品,属于数据管理技术领域。本申请通过在触发数据查询指令时,确定所述数据查询指令对应的执行树,其中,所述执行树包含反映集合操作符的数据并集运算流程的树状结构;对所述树状结构中的复数层的算子进行结构压缩优化,其中,所述算子为所述数据并集运算流程所使用的算子;根据结构压缩优化后的执行树,响应所述数据查询指令,即通过对执行树中集合操作符的数据并集运算流程的树状结构进行结构压缩优化,从而降低执行树中的数据处理结构的复杂程度,从而提高相应数据查询的效率。
-
公开(公告)号:CN117992452A
公开(公告)日:2024-05-07
申请号:CN202410118887.8
申请日:2024-01-29
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/22 , G06F16/2458 , G06F16/242
Abstract: 本申请公开了一种数据分析方法、装置、设备、介质及产品,包括:创建和/或初始化第一布隆过滤器和第二布隆过滤器;获取待处理数据,每个键值关联至少一条数据记录;在第一布隆过滤器不包含待处理数据的键值的情况下,在第一布隆过滤器中记录待处理数据的键值,并将待处理数据的行号索引写入第一索引分组;在第一布隆过滤器包含待处理数据的键值的情况下,在第二布隆过滤器中记录待处理数据的键值;针对第一索引分组中的每一行待处理数据,基于第二布隆过滤器是否包含待处理数据的键值的遍历结果,从待处理数据关联的所有键值中筛选出目标键值,目标键值为仅关联一条数据记录的键值;从待处理数据中,直接输出由目标键值组成的目标待处理数据。
-
公开(公告)号:CN119512658A
公开(公告)日:2025-02-25
申请号:CN202411621197.0
申请日:2024-11-13
Applicant: 中移动信息技术有限公司 , 中国移动通信集团福建有限公司 , 中国移动通信集团有限公司
IPC: G06F9/448 , G06F11/3604 , G06F8/71 , G06F9/48 , G06N5/022 , G06F16/215
Abstract: 本申请公开了一种大数据的管理方法、装置、设备及产品,涉及大数据技术领域,公开了大数据的管理方法,包括:在目标数据任务开发过程中,对目标数据任务对应的代码进行质量检测,得到代码质量检测结果;对所述代码质量检测结果为通过的目标数据任务进行部署配置之前,对所述目标数据任务进行数据血缘关系分析以及任务依赖管理,确定所述目标数据任务的任务调度时间;在部署配置之后,在对所述目标数据任务进行数据质量监控过程中,基于定义的质量规则模板构建知识图谱,并基于所述知识图谱匹配目标质量规则对所述目标数据任务对应的稽核表进行填充,提高代码开发效率以及代码上线效率。
-
公开(公告)号:CN119336475A
公开(公告)日:2025-01-21
申请号:CN202411603838.X
申请日:2024-11-11
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
Abstract: 本申请公开了一种数据传输方法、装置、设备、存储介质以及产品,涉及数据传输技术领域,方法通过根据预先生成的数据传输任务配置信息生成原始数据传输任务,数据传输任务配置信息包括双端数据模型和任务优先级;基于双端数据模型,将原始数据传输任务转换为目标数据传输任务;基于任务优先级和预设的优先级调度评分算法对目标传输任务进行优先级调度评分,得到任务调度队列;基于任务调度队列和目标数据传输任务进行数据传输,通过上述方案将数据传输任务按照数据模型进行转换,得到的目标数据传输任务可以为批式数据传输或流式数据传输,此外通过优先级排序确保所有任务按需有序执行,显著提高了数据传输系统的效率和泛用性。
-
公开(公告)号:CN118193691A
公开(公告)日:2024-06-14
申请号:CN202410288308.4
申请日:2024-03-13
Applicant: 中移动信息技术有限公司 , 中国移动通信集团有限公司
IPC: G06F16/332 , G06F16/33 , G06F16/335 , G06F40/30 , G06F40/284 , G06F18/213 , G06N3/0455 , G06N3/084
Abstract: 本申请公开了一种应答信息的生成方法、装置、设备及计算机可读存储介质。其中,该方法包括:获取与用户问题对应的关键字文本和应答生成要求;在应答库中确定与关键字文本匹配的目标应答文本,应答库中包括多个具有应答语境的应答文本,多个应答文本包括目标应答文本;按照多个预设提示词对目标应答文本进行知识挖掘和信息区分,生成与多个预设提示词分别对应的提示词模板;对应答生成要求和多个提示词模板进行组合,得到目标提示词模板;利用大语言模型对目标提示词模板进行信息处理,生成目标应答信息。根据本申请实施例的应答信息的生成方法,能够提高应答信息的准确性。
-
-
-
-
-
-
-
-
-