公开(公告)号：CN118350417B

公开(公告)日：2024-11-19

申请号：CN202410780844.6

申请日：2024-06-18

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 林丰 ,  卢光明 ,  马骁 ,  卢瑶

IPC: G06N3/0455 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种目标检测模型的优化方法、装置、电子设备及存储介质，应用于DINO模型，涉及人工智能技术领域，所述目标检测模型的优化方法包括以下步骤：S10，LST结构改进：在通过历史任务训练好的原DINO模型上新增旁支网络，以获得新DINO模型；S20，初步预热：固定原DINO模型的网络参数，并利用历史任务对旁支网络的参数进行训练；S30，持续学习增量训练：采用ER技术对新DINO模型进行持续学习训练，且训练过程中采用遗忘性优先采样策略进行历史任务样本选取；S40，推理测试。本发明的有益效果：既能缓解模型的灾难性遗忘，又能快速适应新任务。

公开(公告)号：CN118364870A

公开(公告)日：2024-07-19

申请号：CN202410796661.3

申请日：2024-06-20

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 林丰 ,  卢光明 ,  马骁 ,  卢瑶

IPC: G06N3/0455 ,  G06N3/08 ,  G06F40/226 ,  G06F40/284

Abstract: 本发明公开了一种大语言模型的优化方法、装置、电子设备及存储介质，涉及人工智能技术领域，所述大语言模型的优化方法具体包括以下步骤：S10，结合原LLM模型和大模型SFT数据集生成训练数据集；S20，在原LLM模型的主干网络中嵌入旁支网络，以获得新LLM模型，并在旁支网络的输入端输入掩码词元序列；S30，在训练数据集上采用损失函数对新LLM模型进行训练，训练完成后，LLM模型能够在一次推理中预测多个候选词元序列；S40，并行执行候选词元序列的生成和候选词元序列正确性的验证。本发明的有益效果：既节约了资源消耗和时间，又增强了LLM模型的解码能力，还保证了LLM模型输出结果的质量。

公开(公告)号：CN118364870B

公开(公告)日：2024-11-19

申请号：CN202410796661.3

申请日：2024-06-20

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 林丰 ,  卢光明 ,  马骁 ,  卢瑶

IPC: G06N3/0455 ,  G06N3/08 ,  G06F40/226 ,  G06F40/284

Abstract: 本发明公开了一种大语言模型的优化方法、装置、电子设备及存储介质，涉及人工智能技术领域，所述大语言模型的优化方法具体包括以下步骤：S10，结合原LLM模型和大模型SFT数据集生成训练数据集；S20，在原LLM模型的主干网络中嵌入旁支网络，以获得新LLM模型，并在旁支网络的输入端输入掩码词元序列；S30，在训练数据集上采用损失函数对新LLM模型进行训练，训练完成后，LLM模型能够在一次推理中预测多个候选词元序列；S40，并行执行候选词元序列的生成和候选词元序列正确性的验证。本发明的有益效果：既节约了资源消耗和时间，又增强了LLM模型的解码能力，还保证了LLM模型输出结果的质量。

公开(公告)号：CN118350417A

公开(公告)日：2024-07-16

申请号：CN202410780844.6

申请日：2024-06-18

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 林丰 ,  卢光明 ,  马骁 ,  卢瑶

IPC: G06N3/0455 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种目标检测模型的优化方法、装置、电子设备及存储介质，应用于DINO模型，涉及人工智能技术领域，所述目标检测模型的优化方法包括以下步骤：S10，LST结构改进：在通过历史任务训练好的原DINO模型上新增旁支网络，以获得新DINO模型；S20，初步预热：固定原DINO模型的网络参数，并利用历史任务对旁支网络的参数进行训练；S30，持续学习增量训练：采用ER技术对新DINO模型进行持续学习训练，且训练过程中采用遗忘性优先采样策略进行历史任务样本选取；S40，推理测试。本发明的有益效果：既能缓解模型的灾难性遗忘，又能快速适应新任务。