公开(公告)号：CN119669421A

公开(公告)日：2025-03-21

申请号：CN202411775394.8

申请日：2024-12-05

Applicant: 国网湖北省电力有限公司宜昌供电公司 ,  三峡大学

Inventor： 朱佳 ,  李晨露 ,  余杰 ,  李红阳 ,  陈大磊 ,  胡宇航 ,  杜仙 ,  陈凌俊 ,  谢黎 ,  兰正寅 ,  韩进 ,  余梅 ,  张诗睿 ,  徐婉怡 ,  马凯 ,  伍森辉

IPC: G06F16/3329 ,  G06F18/23213 ,  G06F18/214 ,  G06Q50/06

Abstract: 本发明提出了一种面向供电行业的大语言模型语料库构建方法，包括以下步骤：步骤1，在供电行业的工作环境中部署RAG系统；步骤2，使用所述RAG系统进行知识检索，得到问题文本和与其对应的多个回答文本即问答文本；步骤3，将问题文本进行向量化，得到问题向量；步骤4，对所有的问题向量进行聚类，并对每个聚类进行编码，得到聚类编码；步骤5，对所有问答文本按聚类的类别进行编码，并按时序分割为问题片段；步骤6，在问题片段中提取语料的问题，生成答案，计算所述答案的置信度；步骤7，将所述的问题、对应的答案和置信度编目成为1条语料记录，将所有的语料记录保存获得面向供电行业的大语言模型语料库。

公开(公告)号：CN119719291A

公开(公告)日：2025-03-28

申请号：CN202411786046.0

申请日：2024-12-06

Applicant: 国网湖北省电力有限公司宜昌供电公司 ,  三峡大学

Inventor： 付荣 ,  陈凌俊 ,  谢黎 ,  兰正寅 ,  韩进 ,  杜仙 ,  李晨露 ,  余杰 ,  陈大磊 ,  胡宇航 ,  李红阳 ,  张诗睿 ,  徐婉怡 ,  余梅 ,  马凯 ,  伍森辉

IPC: G06F16/3329 ,  G06F16/334 ,  G06F16/36 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/08 ,  G06N5/022 ,  G06N5/04

Abstract: 本发明提出了一种面向供电行业知识检索的大语言模型微调方法，包括以下步骤：步骤1，在供电行业的工作环境中部署RAG系统；步骤2，输入查询文本，RAG系统的知识库返回多个查询结果；步骤3，使用所述查询文本和查询结果构建训练语料记录，并进行预处理，获得单词索引序列；步骤4，构建伪提示序列串，并在大语言模型LLM中增加可调模块；步骤5，使用所述单词索引序列，对增加可调模块后的大语言模型LLM进行训练和优化，重复迭代后，完成所述面向供电行业知识检索的大语言模型微调。