公开(公告)号：CN119398146A

公开(公告)日：2025-02-07

申请号：CN202411368436.6

申请日：2024-09-29

Applicant: 西安电子科技大学

Inventor： 胡景钊 ,  毕文静 ,  张一帆 ,  刘抚忠 ,  李青山 ,  褚华 ,  王璐

IPC: G06N5/022 ,  G06N20/00 ,  G06F40/35

Abstract: 本申请提出一种大语言模型的对齐方法，该方法通过获取预训练大语言模型，并初始化预训练大语言模型进入文本补全任务状态；针对目标数据集进行模型特征检索，确定至少一个目标大语言模型；根据目标大语言模型构建上下文对齐提示词，并将上下文对齐提示词输入预训练大语言模型；获取目标会话文本将目标会话文本更新进上下文对齐提示词，推理得到会话响应文本；循环执行以下步骤：将当前对话回合的会话响应文本添加到上下文对齐提示词中；获取下一对话回合的目标会话文本，将目标会话文本与上下文对齐提示词一并输入大语言模型中，得到下一对话回合的会话响应文本，并将下一对话回合设置为当前对话回合。该方法能够实现预训练大语言模型的高效对齐。