基于批流一体计算引擎的征信智能评估方法和系统

    公开(公告)号:CN115018616A

    公开(公告)日:2022-09-06

    申请号:CN202210444203.4

    申请日:2022-04-25

    Abstract: 本申请提出了一种基于批流一体计算引擎的征信智能评估方法,涉及征信智能评估技术领域,其中,该方法包括:通过Kafka获取多个维度的用户征信数据,并按照主题将用户征信数据划分为待训练征信数据和待预测征信数据;获取预先训练的征信评估模型,将待预测征信数据输入至征信评估模型进行实时评估,得到评估结果,其中,征信评估模型是通过待训练征信数据对原始训练数据进行数据增量后,利用增量后的训练数据进行动态更新的。本申请利用经典的神经网络模型算法动态预测征信智能评分,并且能够根据实时流式征信数据实现评估模型的在线学习,同时能够结合历史规律与实时变化,更新模型评估效果,消除模型的不稳定性,从而提升征信智能评估的准确率。

    基于Flink引擎计算节点动态扩展的任务评价方法和装置

    公开(公告)号:CN114817241B

    公开(公告)日:2024-12-20

    申请号:CN202210306938.0

    申请日:2022-03-25

    Abstract: 本申请提出了一种基于Flink引擎计算节点动态扩展的任务评价方法,包括:接收客户端发送的任务;接收客户端在出现数据热点时发送的节点扩展指令,根据节点扩展指令修改任务的执行图的拓扑结构,并通知目标算子任务的上游算子任务增加结果分区和变更虚拟哈希映射表和虚拟路由表,其中,目标算子任务为出现数据热点的算子任务;通过任务管理器启动新增计算节点,初始化新增计算节点的输入网关和结果分区;通知目标算子任务的下游算子任务增加输入通道;通过任务管理器根据修改后的任务的执行图的拓扑结构,对用户数据进行处理,得到任务评价结果。本申请解决了Flink引擎处理数据时的数据倾斜的问题,提高了系统的数据计算速度,满足任务实时场景需求。

    基于Flink引擎计算节点动态扩展的任务评价方法和装置

    公开(公告)号:CN114817241A

    公开(公告)日:2022-07-29

    申请号:CN202210306938.0

    申请日:2022-03-25

    Abstract: 本申请提出了一种基于Flink引擎计算节点动态扩展的任务评价方法,包括:接收客户端发送的任务;接收客户端在出现数据热点时发送的节点扩展指令,根据节点扩展指令修改任务的执行图的拓扑结构,并通知目标算子任务的上游算子任务增加结果分区和变更虚拟哈希映射表和虚拟路由表,其中,目标算子任务为出现数据热点的算子任务;通过任务管理器启动新增计算节点,初始化新增计算节点的输入网关和结果分区;通知目标算子任务的下游算子任务增加输入通道;通过任务管理器根据修改后的任务的执行图的拓扑结构,对用户数据进行处理,得到任务评价结果。本申请解决了Flink引擎处理数据时的数据倾斜的问题,提高了系统的数据计算速度,满足任务实时场景需求。

Patent Agency Ranking