公开(公告)号：CN118445397A

公开(公告)日：2024-08-06

申请号：CN202410652558.1

申请日：2024-05-24

Applicant: 浪潮云信息技术股份公司

Inventor： 颜亮 ,  蒋豪禹 ,  陈建国 ,  闫茂松

IPC: G06F16/332 ,  G06F16/33 ,  G06N3/0475 ,  G06N3/094

Abstract: 本申请公开了一种基于监督微调的大模型微调方法、装置、设备及介质，应用于大语言模型，涉及大模型领域，包括：基于所述大语言模型生成相应的合成数据，并根据所述合成数据构建所述大语言模型的训练数据集；根据预设数据清洗规则对所述训练数据集进行清洗，并根据预设数据检验规则对得到的清洗后数据集进行数据标注以及数据检验得到目标数据集；根据所述目标数据集利用预设模型微调工具对所述大语言模型进行微调训练，直至得到满足预设训练要求的目标大语言模型。通过引入合成数据，在真实数据很少的场景，可以短时间内生成大量数据，有效减少采集真实数据的时间，提高模型微调工作效率。

公开(公告)号：CN118966186A

公开(公告)日：2024-11-15

申请号：CN202411156165.8

申请日：2024-08-22

Applicant: 浪潮云信息技术股份公司

Inventor： 闫茂松 ,  陈建国 ,  蒋豪禹

IPC: G06F40/186 ,  G06N5/04

Abstract: 本发明提供一种公文写作模型训练方法及装置、介质、设备。该方法包括：通过网络爬虫技术获取多种公文类型的公文数据；对所述公文数据进行清洗；基于清洗后的公文数据，构造训练集；其中，所述训练集中包括多条训练样本，每一条训练样本包括任务指令、用户输入信息和公文信息；根据所述训练集，进行模型训练，得到公文写作模型；其中，所述公文写作模型能够在应用场景中基于用户输入信息和任务指令，生成公文大纲，并对所述公文大纲进行内容填充，得到对应的公文信息。基于本发明实施例可以得到一种公文写作模型。

公开(公告)号：CN118820400A

公开(公告)日：2024-10-22

申请号：CN202410955855.3

申请日：2024-07-17

Applicant: 浪潮云信息技术股份公司

Inventor： 颜亮 ,  陈建国 ,  陈致鹏 ,  闫茂松 ,  蒋豪禹 ,  薛娇 ,  陈尧

IPC: G06F16/33 ,  G06F16/332 ,  G06F16/951 ,  G06F16/9538 ,  G06F16/338 ,  G06F16/38

Abstract: 本发明实施例的方案包括：响应于检索需求，设置至少一种数据抓取方式获取实时数据；基于所述实时数据构建索引数据库；基于所述索引数据库设置至少一种类型的检索方案，对通过所述检索方案得到的检索结果进行重新排序；基于所述检索结果生成上下文提示，通过大语言模型基于所述上下文提示生成检索文本。本发明实施例的方案通过实时数据索引和多路召回机制，实现了对信息的高效检索和利用，显著提升了大语言模型在特定领域和实时场景下的内容生成质量和相关性，从而提高生成式任务的准确性和可靠性。

公开(公告)号：CN118246540B

公开(公告)日：2024-08-13

申请号：CN202410675246.2

申请日：2024-05-29

Applicant: 浪潮云信息技术股份公司

Inventor： 颜亮 ,  闫茂松 ,  陈建国 ,  蒋豪禹

IPC: G06N5/022 ,  G06F16/33

Abstract: 本申请公开了一种交互方法、装置、设备及存储介质，涉及数据处理技术领域，包括：获取当前交互请求，并利用预设语言模型生成与所述当前交互请求对应的知识检索请求；从预设知识文档库中检索与所述知识检索请求相匹配的若干候选文档；基于交叉熵损失函数对所述若干候选文档与所述当前交互请求进行计算，以根据相应的计算结果对所述若干候选文档进行排序，得到排序后文档；利用所述预设语言模型对所述排序后文档进行处理，以输出与所述当前交互请求对应的应答信息。这样一来，本申请可以对检索得到的候选文档进行重新排序，可以提高最终输入语言模型的文档与用户的交互请求的相关性，可以提高最终生成的应答信息与交互请求之间的交互效果。

公开(公告)号：CN118246540A

公开(公告)日：2024-06-25

申请号：CN202410675246.2

申请日：2024-05-29

Applicant: 浪潮云信息技术股份公司

Inventor： 颜亮 ,  闫茂松 ,  陈建国 ,  蒋豪禹

IPC: G06N5/022 ,  G06F16/33

Abstract: 本申请公开了一种交互方法、装置、设备及存储介质，涉及数据处理技术领域，包括：获取当前交互请求，并利用预设语言模型生成与所述当前交互请求对应的知识检索请求；从预设知识文档库中检索与所述知识检索请求相匹配的若干候选文档；基于交叉熵损失函数对所述若干候选文档与所述当前交互请求进行计算，以根据相应的计算结果对所述若干候选文档进行排序，得到排序后文档；利用所述预设语言模型对所述排序后文档进行处理，以输出与所述当前交互请求对应的应答信息。这样一来，本申请可以对检索得到的候选文档进行重新排序，可以提高最终输入语言模型的文档与用户的交互请求的相关性，可以提高最终生成的应答信息与交互请求之间的交互效果。

公开(公告)号：CN119807003A

公开(公告)日：2025-04-11

申请号：CN202510006669.X

申请日：2025-01-03

Applicant: 浪潮云信息技术股份公司

Inventor： 蒋豪禹 ,  陈建国 ,  闫茂松

IPC: G06F11/3604 ,  G06F18/2433 ,  G06F18/10 ,  G06F8/33

Abstract: 本发明提供一种基于微调大模型的代码检测方法以及装置，包括：构建微调模型，其中，微调模型包括检测代码与参考检测结果之间的对应关系，获取待检测代码，对待检测代码进行预处理，以得到预处理后的待检测代码，根据待检测代码以及微调模型，获取待检测代码的检测结果，基于代码生成模型，根据检测结果，调整待检测代码并生成代码片段。通过构建微调模型，并将待检测代码输入到微调模型中，可以确定待检测代码是否异常，并将异常的代码输入到代码生成模型中并对异常的代码进行修改，从而生成的代码片段为可以正常运行的代码，从而实现现有技术中手动检测代码和修复代码的准确度以及效率较低的问题。

公开(公告)号：CN118520869A

公开(公告)日：2024-08-20

申请号：CN202410920292.4

申请日：2024-07-10

Applicant: 浪潮云信息技术股份公司

Inventor： 赵亮 ,  陈建国 ,  闫茂松 ,  蒋豪禹 ,  薛娇 ,  陈尧

IPC: G06F40/232 ,  G06F40/253 ,  G06F18/214 ,  G06N3/08

Abstract: 本申请公开了一种基于大模型的文本纠错方法、装置、设备及存储介质，涉及人工智能技术领域，包括：基于大语言模型根据第一预设指令生成第一训练数据，并对预设数据进行人工标注生成第二训练数据，以构建训练数据集；通过预设文本纠错任务对应的第二预设指令和训练数据集构建相应的目标数据集，以利用目标数据集对大语言模型进行微调得到目标大语言模型；获取待纠错文本，并确定待纠错文本对应的纠错指令，以将待纠错文本和纠错指令进行拼接后输入目标大语言模型，得到纠错后的目标文本。基于大语言模型生成数据混合人工标注数据，并针对不同任务构造不同指令微调大模型，从而将拼写纠错和语法纠错串联起来，可以有效提升文本纠错准确率。