-
公开(公告)号：CN119917606A
公开(公告)日：2025-05-02
申请号：CN202411716751.3
申请日：2024-11-27
Applicant: 中国科学院自动化研究所 , 北京智源人工智能研究院
IPC: G06F16/3329 , G06F16/334 , G06F16/353 , G06F40/30 , G06N5/04 , G06N3/045 , G06N3/0895
Abstract: 本发明提供一种基于检索增强的大语言模型长文本回答方法及装置，方法包括：通过第一大语言模型对候选文本中文本片段生成提问样本，构建问答训练样本数据后通过对比学习训练第二大语言模型，得到文本检索器；从外部知识数据库中获取目标检索文本，根据预设的滑动窗口在目标检索文本上滑动，调用文本检索器对滑动窗口内文本进行基于因果注意力机制的特征提取，得到每个检索句子的检索语义特征；调用文本检索器对查询语义特征进行检索，得到召回知识文本，结合目标提问文本进行文本问答。通过本申请，克服在文本问答时需要对待检索文本进行分块检索，限制了检索增强有效召回，导致大语言模型根据检索证据进行文本回答时准确率低下的缺陷。
-
公开(公告)号：CN119378692B
公开(公告)日：2025-04-29
申请号：CN202411945230.5
申请日：2024-12-27
Applicant: 中国科学院自动化研究所
IPC: G06N5/04 , G06N3/045 , G06F40/20 , G06F40/295
Abstract: 本发明提供一种幻觉文本缓解方法、装置、设备、存储介质及程序产品，应用于自然语言处理技术领域。该方法包括：获取大语言模型生成的第一幻觉文本；通过基础修正器对所述第一幻觉文本进行修正，得到第二幻觉文本；通过评估器评估所述第二幻觉文本，得到文本评价信息和此次修正过程的质量评分；在所述质量评分超过预设阈值的情况下，将所述第二幻觉文本作为输出文本；在所述质量评分不超过所述预设阈值的情况下，基于所述文本评价信息，通过反思器确定缓解策略；根据所述缓解策略调整所述基础修正器的修正策略，并将所述第二幻觉文本重新输入调整后的所述基础修正器中。
-
公开(公告)号：CN119441453A
公开(公告)日：2025-02-14
申请号：CN202411285071.0
申请日：2024-09-13
Applicant: 中国科学院自动化研究所
IPC: G06F16/334 , G06F16/3329 , G06F40/16
Abstract: 本发明提供一种问答任务处理方法、装置、设备、存储介质及程序产品，应用于自然语言处理技术领域。该方法包括：获取问答任务的输入问题和问答实例；从所述问答实例中确定与所述输入问题相似度最高的目标实例，从预训练的低秩适配LORA模块库中确定与所述目标实例相似度最高的多个LORA模块；采用非梯度参数优化技术将所述多个LORA模块与第一问答模型进行融合处理，得到第二问答模型，并将所述输入问题输入所述第二问答模型得到对应回答。
-
公开(公告)号：CN119378692A
公开(公告)日：2025-01-28
申请号：CN202411945230.5
申请日：2024-12-27
Applicant: 中国科学院自动化研究所
IPC: G06N5/04 , G06N3/045 , G06F40/20 , G06F40/295
Abstract: 本发明提供一种幻觉文本缓解方法、装置、设备、存储介质及程序产品，应用于自然语言处理技术领域。该方法包括：获取大语言模型生成的第一幻觉文本；通过基础修正器对所述第一幻觉文本进行修正，得到第二幻觉文本；通过评估器评估所述第二幻觉文本，得到文本评价信息和此次修正过程的质量评分；在所述质量评分超过预设阈值的情况下，将所述第二幻觉文本作为输出文本；在所述质量评分不超过所述预设阈值的情况下，基于所述文本评价信息，通过反思器确定缓解策略；根据所述缓解策略调整所述基础修正器的修正策略，并将所述第二幻觉文本重新输入调整后的所述基础修正器中。
-
公开(公告)号：CN119358624A
公开(公告)日：2025-01-24
申请号：CN202411309928.8
申请日：2024-09-19
Applicant: 中国科学院自动化研究所
IPC: G06N3/082 , G06N3/0495 , G06N3/042 , G06N3/0499
Abstract: 本发明提供一种基于冲突注意力头剪枝的知识冲突消除方法以及装置，其中，上述方法包括：获取原始输入与干扰输入；基于原始输入运行目标语言模型，确定每个注意力头的原始激活状态；基于干扰输入运行目标语言模型，确定每个注意力头的干扰激活状态；分别将每个注意力头的原始激活状态替换为干扰激活状态，确定每个注意力头的输出变化量；进而确定每个注意力头的代理重要性分数；基于每个注意力头的代理重要性分数进行排序，将目标序号的注意力头作为冲突注意力头，其中，冲突注意力头为上下文头；对冲突注意力头进行注意力剪枝，以消除目标语言模型的知识冲突；通过本发明能够提高模型在处理内部记忆和外部上下文时的灵活性。
-
Patent Agency Ranking
公开(公告)号：CN115309858B
公开(公告)日：2024-12-06
申请号：CN202210754115.4
申请日：2022-06-28
Applicant: 中国科学院自动化研究所
IPC: G06F16/33 , G06F16/332 , G06F16/35 , G06F16/36 , G06F40/216 , G06F40/237 , G06N3/045 , G06N3/0442 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本发明提供一种算术表达式的生成方法、装置、设备、介质及产品，该方法包括：获取目标问题对应的表格和文本；表格和文本用于确定目标问题的算术表达式；基于表格、文本和目标问题，确定目标问题的异质图；基于图处理模型，确定异质图的目标嵌入矩阵；通过树解码器，对目标嵌入矩阵和预设符号字典进行处理，得到目标问题的算术表达式。本发明提供的算术表达式的生成方法、装置、设备、介质及产品用于提高算术表达式的准确率。
-
公开(公告)号：CN118940814A
公开(公告)日：2024-11-12
申请号：CN202410848998.4
申请日：2024-06-27
Applicant: 中国科学院自动化研究所
IPC: G06N3/08 , G06N5/04 , G06F16/332
Abstract: 本申请提供一种用于控制大型语言模型的人格特点的方法及装置，涉及生成式人工智能推理技术领域。所述方法包括：提取大型语言模型的人格特征差异向量；基于所述人格特征差异向量，调整所述大型语言模型的激活值，得到目标激活值；基于所述目标激活值，控制所述大型语言模型的人格特点，以使所述大型语言模型的输出符合预设需求。本申请提供的用于控制大型语言模型的人格特点的方法及装置，可以精确控制大型语言模型人格特点，改善任务完成效果。
-
公开(公告)号：CN117313738B
公开(公告)日：2024-11-12
申请号：CN202311094760.9
申请日：2023-08-28
Applicant: 中国科学院自动化研究所
IPC: G06F40/30 , G06F16/33 , G06N3/0499 , G06N3/08
Abstract: 本发明提供一种端到端概念体系构建方法及系统，方法包括：将待构建概念集合包括的第一词语对中的任一词语添加到初始概念体系中，所述第一词语对为从所述待构建概念集合包括的词语对之间上下位关系所对应的第一概率分布中，得到的概率最大的词语对；执行至少一次第一处理过程，直至所述待构建概念集合为空为止，根据更新后的初始概念体系，获取所述待构建概念集合对应的概念体系。所述系统执行所述方法。本发明基于词语对之间上下位关系的概率分布，每次选择概率最大的特定词语对添加到概念体系中，构建待构建概念集合的概念体系，能够更为准确的表征待构建概念集合中词语之间的语义特征。
-
公开(公告)号：CN118916693A
公开(公告)日：2024-11-08
申请号：CN202410947007.8
申请日：2024-07-15
Applicant: 中国科学院自动化研究所
IPC: G06F18/214 , G06F18/25 , G06N3/0455 , G06N3/0499 , G06N3/08
Abstract: 本公开关于模型的训练方法、装置、电子设备、存储介质和计算机程序产品，该方法包括：将训练演示和训练指令输入超网络编码器内；将编码结果输入适配器生成器内；基于适配器权重调整学生模型；将训练输入和编码结果输入调整后的学生模型；将训练数据输入教师模型，获得教师输出分布；计算训练损失；基于训练损失对超网络和学生模型进行训练。这样，可以基于训练演示和训练指令利用适配器生成器获得适配器权重，即可以自动从训练指令中生成特定任务的适配器，而无需对未见任务进行重新训练，降低了对大量标记数据的依赖，可以提高模型的跨任务泛化能力。并且，还可以实现降低计算开销、节省计算成本，提高了模型在实际应用中的适应性和灵活性。
-
公开(公告)号：CN118733413A
公开(公告)日：2024-10-01
申请号：CN202410761163.5
申请日：2024-06-13
Applicant: 中国科学院自动化研究所 , 上海人工智能创新中心
IPC: G06F11/34
Abstract: 本申请提供一种大模型能力多维评测方法和装置，涉及人工智能技术领域，包括：基于模型评测能力体系，确定对各个待评测模型进行评测的多个能力评测维度；确定各个能力评测维度对应的评测题；基于各个能力评测维度对应的评测题，对各个待评测模型进行评测，确定各个待评测模型在各个能力评测维度下的评测结果；基于各个待评测模型在各个能力评测维度下的评测结果，确定各个待评测模型的多维评测结果。本申请提供的方法和装置，提高了大模型能力评测的准确性和全面性。
-
-
-
-
-
-
-
-
-
Search Results
117
records
(took 0.123 seconds)
