一种基于大模型的继续预训练的问答方法、装置、设备及介质

    公开(公告)号:CN119848216A

    公开(公告)日:2025-04-18

    申请号:CN202510107801.6

    申请日:2025-01-23

    Abstract: 本申请涉及大模型训练领域,特别涉及一种基于大模型的继续预训练的问答方法、装置、设备及介质,方法包括:获取多个基于不同预设长度阈值的切片数据的训练数据集;利用多个超参数对预训练大模型进行继续训练,得到多个初始问答模型,能够通过不同长度的训练数据以及不同的超参数,使得模型在不同超参数下无监督地学习不同长度的文本;通过测试集测试多个初始问答模型,比较不同的初始问答模型的学习情况,以便于从多个初始问答模型确定出最优的问答模型,能够精准的确定符合该场景下的最优的文本长度以及超参数的模型,使得最终确定的问答模型的精准度以及可靠性优异,且,在继续训练过程中不需要依赖人工标记训练数据,降低了人工成本和工作量。

    一种互联网行业基于大模型的地点选择决策方法和系统

    公开(公告)号:CN119048162A

    公开(公告)日:2024-11-29

    申请号:CN202411118496.2

    申请日:2024-08-15

    Inventor: 霍宇

    Abstract: 本发明涉及人工智能技术领域,具体为一种互联网行业基于大模型的地点选择决策方法和系统,包括以下步骤:通过提示工程,执行一种选址推荐决策模型,包括:任务定义、工具定义、执行流程定义以及输出解析;执行一套地名信息处理流程,以优化大模型在地名地址信息处理方面的性能;定义一套核心工具,用于完善选址功能,包括:定义地理点位数据库、定义地理向量数据库、定义选址推荐模型以及定义厂家推荐模型;有益效果为:本发明提出的互联网行业基于大模型的地点选择决策方法和系统,采用大语言模型对用户自然语言需求进行深入解析,能够快速理解用户意图,并联动多种组件和工具完成复杂的选址任务,大大提高了选址推荐的效率。

    一种基于大模型的简历识别方法
    3.
    发明公开

    公开(公告)号:CN119047569A

    公开(公告)日:2024-11-29

    申请号:CN202410986898.8

    申请日:2024-07-23

    Inventor: 李书缘 霍宇 李廷

    Abstract: 本发明特别涉及一种基于大模型的简历识别方法。该基于大模型的简历识别方法,处理简历文档,提取简历中的原文内容;将简历内容结构化,以便后续实现原文标注;定义要从简历中提取的信息和对应的结构化格式;根据简历长度和硬件资源选择大模型,加载并初始化推理任务;构建提示符prompt和多轮对话,向大模型提问获取简历信息;将大模型多轮对话返回的结果填充到结构化数据中并返回。该基于大模型的简历识别方法,能够利用大模型技术自动、准确地识别简历中的关键信息,并将其转化为结构化的数据表示,同时标明数据在简历中对应的原文,以辅助人力资源管理者进行高效的简历筛选和候选人评估,为自动化简历筛选功能开发提供了必要条件。

    一种运维行业基于大模型的多轮问答方法及系统

    公开(公告)号:CN120067144A

    公开(公告)日:2025-05-30

    申请号:CN202510188365.X

    申请日:2025-02-20

    Inventor: 李书缘 霍宇 李廷

    Abstract: 本发明公开了一种运维行业基于大模型的多轮问答方法及系统,属于大模型微调技术领域,该方法的实现包括输入模块、多轮问答模块、NL2SQL模块以及输出模块,输入模块负责获取用户提问问题的文本内容,包括语音输入、文字输入;多轮问答模块负责将输入模块的文本内容根据上下文信息进行补全,然后输出给NL2SQL模块;NL2SQL模块负责将补全后的文本转换为SQL语句,然后在数据库中执行,并将执行结果返回给输出模块;输出模块负责将SQL执行结果展示给用户。本发明解决了用户在使用NL2SQL模块时,每次提问都必须包含完整信息的问题,使得整个系统具备了多轮问答的能力。

    一种服务行业的基于大模型的法律问答方法及系统

    公开(公告)号:CN119047580A

    公开(公告)日:2024-11-29

    申请号:CN202411118485.4

    申请日:2024-08-15

    Inventor: 张健 李廷 霍宇

    Abstract: 本发明涉及大语言模型技术领域,具体为一种服务行业的基于大模型的法律问答方法及系统,包括以下步骤:训练数据获取与处理,数据构建,模型微调,模型性能评估与对比,使用说明与交互方式,提供命令行交互和Demo交互两种方式供用户使用;有益效果为:本发明提出的服务行业的基于大模型的法律问答方法及系统,通过引入通用领域数据,使模型能够更好地理解自然语言和上下文信息,从而在处理各种法律问题时表现出更强的泛化能力;通过收集并整合包括法律问答数据、法律法规和法律参考书籍在内的专业法律文本,为模型提供丰富的法律知识和问答模式,使其在法律领域内表现出更高的专业性。

    一种基于大模型的网络安全问答方法及系统

    公开(公告)号:CN118964581A

    公开(公告)日:2024-11-15

    申请号:CN202411159160.0

    申请日:2024-08-22

    Abstract: 本申请公开了一种基于大模型的网络安全问答方法及系统,所述方法包括:获取用户输入的网络安全问题;将网络安全问题输入预先训练好的大模型中,由大模型基于目标网络安全知识库,分析得到网络安全问题的答案;其中,先利用无监督训练数据集对大模型进行继续预训练,再基于监督微调策略,利用有监督训练数据集对大模型进行二次迭代训练,最后基于人类反馈强化学习策略,将大模型与训练好的奖励模型相结合,对大模型进行第三次迭代训练,得到训练好的大模型;奖励模型利用标注数据集训练得到;标注数据集通过对大模型输出的结果进行优劣标注得到;无监督训练数据集由多个数据源的网络安全数据组成;将网络安全问题的答案反馈给用户。

    营销行业基于大模型的问题分类方法及装置、介质、设备

    公开(公告)号:CN119088966A

    公开(公告)日:2024-12-06

    申请号:CN202411195788.6

    申请日:2024-08-29

    Inventor: 李书缘 李廷 霍宇

    Abstract: 本发明提供一种营销行业基于大模型的问题分类方法及装置、介质、设备。该方法包括:收集用户反馈文档;将用户反馈文档切分为多个条目,将多个条目形成条目列表;将条目列表中的每一个条目和提示信息拼接为模型输入内容,将模型输入内容输入到问题识别大模型中,得到模型识别结果;根据模型识别结果,确定该条目是否为问题条目,若是则保留该条目;将保留下来的各个问题条目形成问题条目列表;将问题条目列表中的各个问题条目进行聚类处理,得到多个问题条目组;将各个问题条目组进行排序,得到排列后的问题条目组,并根据排序后的问题条目组,形成问题分类的有序数组。本发明实现高效、准确且自动化的营销问题识别和分类统计。

    一种大模型故障预测方法
    8.
    发明公开

    公开(公告)号:CN119067248A

    公开(公告)日:2024-12-03

    申请号:CN202410986900.1

    申请日:2024-07-23

    Inventor: 李书缘 霍宇 李廷

    Abstract: 本发明特别涉及一种大模型故障预测方法。该大模型故障预测方法,收集区域内各个服务器节点的历史告警信息和故障信息;对收集的告警信息和故障信息进行清洗、整合和标准化处理,形成大模型微调所需数据集;根据GPU资源选择预训练模型,利用数据集对预训练模型进行微调训练,并输出微调后的模型;使用微调后的模型每日定时执行故障预测推理的任务;将模型推理结果发送给对应区域的运维人员,并准备下一次的故障预测。该大模型故障预测方法,实现了自动化的故障预测和预警,能够减轻运维人员的工作负担,避免故障对系统造成的损害和停机时间,减少因故障导致的业务中断和损失,从而显著降低运维成本和业务风险。

Patent Agency Ranking