一种分布式易扩展的工作流任务调度系统设计方法

    公开(公告)号:CN116700918A

    公开(公告)日:2023-09-05

    申请号:CN202310221652.7

    申请日:2023-03-09

    Inventor: 杨娟 翟士丹 高亮

    Abstract: 本发明提供了一种分布式易扩展的工作流任务调度系统设计方法,包括架构设计,包括如下步骤:设置manager/worker为主从节点;基于redis作为队列,将待执行的作业放置到redis中,由各个worker抢占;manager节点为主节点,支持多活并对外开放服务,由外部调用服务创建工作流和执行工作流,并负责发送任务到redis队列;worker节点为从节点,支持多节点并且向manager发送心跳;manager和worker通过nacos注册中心进行服务发现和通信,并可设置多活;调度元数据存储在mysql数据库中。本发明提供的分布式易扩展的工作流任务调度系统设计方法、设备和计算机可读存储介质,通过主从节点,事件驱动的设计架构,解决调度框架常见的高可靠,工作流依赖,任务重试等问题。

    一种分布式大数据组件统一服务引擎设计方法

    公开(公告)号:CN116610375A

    公开(公告)日:2023-08-18

    申请号:CN202310219911.2

    申请日:2023-03-09

    Abstract: 本发明提供了一种分布式大数据组件统一服务引擎设计方法、设备和计算机可读存储介质,方法包括如下步骤:根据大数据计算框架spark/flink的特点,在系统中以jonName‑plugins‑module的组织方式来引用相关业务开发的源码包和配置文件以及启动脚本,不依赖其他jar包,提供大数据计算引擎中核心的计算引擎层;对具有相同特点的计算框架按照上述步骤进行添加,并通过前缀进行区分。本发明提供的分布式大数据组件统一服务引擎设计方法、设备和计算机可读存储介质,通过大数据计算框架组织和对外开放服务接口的方式整合大数据生态组件和计算,降低了开发难度、使用开销,提升了工作效率。

    一种基于知识图谱的数据标注方法、装置、介质及设备

    公开(公告)号:CN113886606B

    公开(公告)日:2022-12-13

    申请号:CN202111487568.7

    申请日:2021-12-08

    Abstract: 本申请实施例公开了一种基于知识图谱的数据标注方法、装置、介质及设备。其中,该方法包括:响应于标注任务的创建请求,确定标注任务关联的图本体模型;其中,图本体模型用于构建实体属性以及实体与实体之间的关系;获取标注目标文档,并根据图本体模型确定标注项数据;根据标注项数据确定带有标注的训练文档,以对预训练模型进行训练,若训练过程中预训练模型的输出结果符合验收标准,则得到规范模型;采用规范模型对标注目标文档的实体属性以及实体与实体之间的关系进行标注。采用本申请技术方案,可将知识图谱与标注数据相结合,从而实现标注数据的可视化,能够更加清晰、直观地反映数据,同时提高了数据标注的效率。

    一种图数据处理方法、装置、电子设备以及存储介质

    公开(公告)号:CN113609318B

    公开(公告)日:2022-03-22

    申请号:CN202111175074.5

    申请日:2021-10-09

    Abstract: 本发明公开了一种图数据处理方法、装置、电子设备以及存储介质,属于计算机技术领域。该方法包括:根据待存储图数据中端点的标识信息和所述端点关联的关系边的类型,构建至少一个类型的关系边的基础键值对键域的外键标识;根据所述端点的标识信息和所述关系边的标识信息,确定所述关系边的数据键值对键域的内键标识;根据所述关系边的属性信息,确定所述关系边的数据键值对值域的内键值;将同类型的关系边的数据键值对写入该类型所对应的关系边的基础键值对值域的寻址区域中;将所述基础键值对写入图数据库的kv存储引擎中。通过上述技术方案,提高了图数据导入性能和访问性能。

    一种流计算系统和传统软件应用系统结合的数据处理方法

    公开(公告)号:CN116401117B

    公开(公告)日:2024-04-09

    申请号:CN202310220742.4

    申请日:2023-03-09

    Abstract: 本发明提供了一种流计算系统和传统软件应用系统结合的数据处理方法,包括如下步骤:确定消息队列配置;其他系统在后台启动一条异步线程,持续监听消息队列;向其他系统发起请求,获取数据将其写入消息队列;流系统监听消息队列,处理并返回数据至消息队列;根据请求类型,执行同步或异步查询逻辑;返回结果,进入后续其他程序。本发明提供的流计算系统和传统软件应用系统结合的数据处理方法、设备和计算机可读存储介质,在实时计算的扩展性、稳定性、时效性等方面,对复杂规则下流系统联合处理进行增强。

    检测SQL语句中字段的方法、装置、存储介质和设备

    公开(公告)号:CN115237936B

    公开(公告)日:2024-04-05

    申请号:CN202210449365.7

    申请日:2022-09-14

    Abstract: 本发明实施例提供一种检测SQL语句中字段的方法,所述方法包括:通过SQL解析引擎对多个SQL字段进行解析,判断每个SQL字段是否为标准字段,当为标准字段时进行收集,当某个SQL字段为非标准字段时,将其与下一字段进行拼接,获得拼接字段,收集标准字段和拼接字段作为被创建表的字段信息,之后按照语法规则逐层查找select语句,收集每层select语句中正确的字段或者别名信息,记录每层select语句中存在错误的字段信息,最后将被创建表的字段信息与最外层select语句中的字段信息进行匹配,记录不匹配的字段信息,最后输出所有错误信息。本发明能准确判断SQL语句中字段的错误信息,提高了SQL语句中字段判断的准确性,加快了数据开发的速度,节省了人力成本和时间成本。

    一种在分享页面应用中接入系统权限的方法及系统

    公开(公告)号:CN116305032B

    公开(公告)日:2023-11-14

    申请号:CN202310157793.7

    申请日:2023-02-14

    Abstract: 本发明涉及页面应用访问技术领域,尤其是涉及一种在分享页面应用中接入系统权限的方法及系统。该在分享页面应用中接入系统权限的方法及系统包括:创建分享的页面应用以及该页面应用对应的第一访问地址,并将该第一访问地址添加入数据库的白名单中,其中,白名单的第一访问地址表示允许访问数据库的地址;对第一访问地址增加标记,形成第二访问地址,其中,第二访问地址表示具有标记的访问地址;在数据库中预设标记所对应的服务;根据数据库中预设的过滤器,过滤第二访问地址的请求;若过滤器拦截到第二访问地址请求,赋予第二访问地址的页面应用对应的服务;基于标记对应的服务,在分享的页面应用中操作的内容被缓存在指定位置。

    一种基于知识平台的图谱管理系统及计算机可读存储介质

    公开(公告)号:CN115964507B

    公开(公告)日:2023-10-27

    申请号:CN202211501630.8

    申请日:2022-11-28

    Abstract: 本发明涉及知识图谱技术领域。一种基于知识平台的图谱管理系统包括图本体模型管理模块、数据源管理模块、数据接入管理模块和数据概览管理模块,其中,图本体模型管理模块用于创建图实例以及对创建的所述图实例进行管理;数据源管理模块被配置为:响应于所述图实例,为所述图实例配置图数据库,建立所述图数据库加载到所述图实例中的目标路径;数据接入管理模块被配置为:响应于所述目标路径,将图实例对应的数据接入所述图数据库中,所述目标路径对应位置,并对接入的数据进行管理;数据概览管理模块被配置为:预览所述图实例以及所述图实例的查询定位;其中,所述图实例、所述目标路径以及所述数据管理进行可视化操作。

    一种面向大规模语言模型的深度学习模型训练方法及系统

    公开(公告)号:CN116644794A

    公开(公告)日:2023-08-25

    申请号:CN202310487657.4

    申请日:2023-05-04

    Abstract: 本发明提供一种面向大规模语言模型的深度学习模型训练方法及系统。所述面向大规模语言模型的深度学习模型训练方法,包括以下步骤:S1、将面向大规模语言模型的有关训练数据导入到文件服务器中,训练服务器中预安装训练环境;S2、在显示有控制界面的显示终端进行预测试,并得出预测试成绩。本发明提供的面向大规模语言模型的深度学习模型训练方法,在学习过程中,通过进行预测试,并根据预测试成绩,训练服务器能够从文件服务器中调用预先导入在所述文件服务器中的训练数据,生成对应的训练模型,从而对于有一些基础的而又没有学习数据的学者,能够使其快速对应学习,不仅提高了适用性,而且降低了学习语言的用时,从而提高了学习语言的效率。

    一种基于知识图谱领域知识库的检索和图谱分析方法

    公开(公告)号:CN116578712A

    公开(公告)日:2023-08-11

    申请号:CN202310257433.4

    申请日:2023-03-09

    Abstract: 本发明提供了一种基于知识图谱领域知识库的检索和图谱分析方法,包括如下步骤:将知识图谱领域知识库内容管理数据进行存储;构建知识图谱领域知识库检索功能;将知识图谱领域知识库知识构建数据进行存储;搭建知识图谱领域知识库图谱构建功能;采用所述知识图谱领域知识库图谱进行智能分析。本发明提供的基于知识图谱领域知识库的检索和图谱分析方法、设备和计算机可读存储介质,在满足功能的前提下,优化内容的展示体验、减少用户的搜索关键词复杂性,同时保证检索结果的准确性。

Patent Agency Ranking