一种流批数据快速融合方法
    1.
    发明公开

    公开(公告)号:CN119026070A

    公开(公告)日:2024-11-26

    申请号:CN202410910249.X

    申请日:2024-07-09

    Abstract: 本发明公开了一种流批数据快速融合方法,包括流批一体化架构、流批统一接口、数据预处理和缓存、实时流数据窗口化、数据格式标准化、并行计算和分布式处理、实时流数据存储和实时流数据索引,所述流批一体化架构主要包括:先收集各种流批数据和批量处理数据,然后对该数据进行解析和格式化,然后通过流批一体化架构集成实时流数据处理和批量数据处理,通常包括实时计算引擎和批处理引擎。通过流批一体化架构,能够将实时流数据和批量数据快速融合,使得企业能够更快速地开展实时决策和应对突发事件,可以充分利用实时处理和批量处理的优势,根据不同的需求灵活分配资源,提高数据处理的效率和性能,使得数据分析更加全面。

    自然语言转SQL查询方法、系统、电子设备及存储介质

    公开(公告)号:CN119201983A

    公开(公告)日:2024-12-27

    申请号:CN202411248114.8

    申请日:2024-09-06

    Abstract: 本发明公开了一种自然语言转SQL查询方法及系统,包括将数据库中的表名、列名向量化并存入向量数据库;利用LLM提取自然语言问题中的关键信息并在向量数据库中进行检索,返回与关键信息最相关的表名、列名和值;将自然语言问题输入训练集数据库,从中选择与自然语言问题相似的若干示例及其对应的SQL查询;将其与自然语言问题输入LLM中,输出候选SQL查询以及生成理由;基于候选SQL查询执行结果对其进行分组,将执行结果相同的候选SQL查询同组并根据数量降序,保留前N组中各组查询速度最快的候选SQL查询作为候选SQL列表输出;将其与自然语言问题输入LLM,从中选择最准确的SQL查询。本发明能更好地处理复杂和多变的自然语言查询,使查询结果更全面和准确。

    一种用户论坛观点提取和分析方法、系统及存储介质

    公开(公告)号:CN119441631A

    公开(公告)日:2025-02-14

    申请号:CN202411248617.5

    申请日:2024-09-06

    Abstract: 本发明公开了一种用户论坛观点提取和分析方法及系统,包括:利用网络爬虫技术,从论坛爬取各帖子数据;利用CoT技术引导大模型执行以下步骤:识别帖子数据中各用户的关注点、将关注点归纳为不同主题并去重、评估各主题的出现频率和重要性,以及输出各主题及其描述;基于所述大模型输出的各主题及其描述,利用大模型对待分析论坛中各帖子分类,若帖子不属于所述大模型输出的各主题时,将其列为其他类别;利用大模型提取各主题对应帖子中用户的观点,一个主题获取其中具有代表性的若干观点,并根据所述观点进行总结分析。本发明能高效地提取和分析论坛观点。

    一种基于数据资产的管控能力分析评估方法

    公开(公告)号:CN119474198A

    公开(公告)日:2025-02-18

    申请号:CN202411353527.2

    申请日:2024-09-26

    Inventor: 梁盈威 陈玥

    Abstract: 本发明涉及数据分析技术领域,具体涉及一种基于数据资产的管控能力分析评估方法,包括:设定遍历逻辑,基于遍历逻辑实时遍历数据库中储存的数据,在遍历数据库中储存的数据时,同步捕捉数据库中储存数据的关键信息,进一步对捕捉到的数据库中储存数据的关键信息进行记录;监测数据库中储存数据的关键信息的记录次数累积,本发明通过对数据库中数据资产的遍历,在数据资产中提取到与数据资产相关的关键信息,进一步对关键信息进行记录,从而根据累积记录的关键信息构建可视化的趋势图,进而基于趋势图多方分析储存数据资产的数据库对于其内部储存数据资产的管控状态,最后实现对数据库管控其内部数据资产的能力进行评估。

Patent Agency Ranking