公开(公告)号：CN119557404A

公开(公告)日：2025-03-04

申请号：CN202411756377.X

申请日：2024-12-02

Applicant: 平安科技(深圳)有限公司

Inventor： 张镛 ,  程宁 ,  王少军 ,  马骏 ,  黄燕文

IPC: G06F16/3329 ,  G06N3/045 ,  G06F16/36 ,  G06F40/151 ,  G06N3/048 ,  G06F16/353 ,  G06N5/04

Abstract: 本申请属于人工智能技术领域，涉及一种内容生成方法、装置、计算机设备及存储介质，该方法包括：采用内容生成模型对包含上下文信息的目标问题进行处理，计算模型中每个神经元在处理上下文信息时的归因分数；根据归因分数将每个神经元划分为上下文神经元和非上下文神经元；根据预设的增强力度值加大上下文神经元的权重，采用权重增强的上下文神经元和非上下文神经元对目标问题进行特征提取，得到特征向量；采用模型中的注意力头和解码器，根据特征向量生成针对目标问题的答复内容，其中，注意力头包括预先经过事实相关性评估的待干预注意力头。本申请能够有效解决内外部知识发生冲突时，内容生成的准确性较低的问题。

公开(公告)号：CN119578551A

公开(公告)日：2025-03-07

申请号：CN202411745252.7

申请日：2024-11-28

Applicant: 平安科技(深圳)有限公司

Inventor： 张镛 ,  程宁 ,  王少军 ,  马骏 ,  黄燕文

IPC: G06N5/04 ,  G06N3/042 ,  G06F40/216 ,  G06F16/3329

Abstract: 本发明提出一种基于注意力分布的答案生成方法、系统、设备及介质，该方法包括：在提供和不提供上下文信息时，获取样本问题对应的正确答案在大模型输出的候选答案中的排名变化和每一注意力层对上下文信息的关注度排名变化；并生成注意力样本数据，获取对上下文信息关注度最大的第一注意力层和对上下文信息关注最小的第二注意力层；构造每一注意力层的注意力分布，并得到每一候选词语的差分注意力概率；根据每一候选词语的原始概率和每一候选词语的差分注意力概率，得到每一候选词语的修正概率，并根据每一候选词语的修正概率，输出最终回答。本发明通过大模型内部不同注意力层进行对比，减少额外计算过程，降低对硬件资源的消耗。

公开(公告)号：CN119293172A

公开(公告)日：2025-01-10

申请号：CN202411362685.4

申请日：2024-09-27

Applicant: 平安科技(深圳)有限公司

Inventor： 张镛 ,  程宁 ,  王少军 ,  黄燕文 ,  马骏 ,  游淼

IPC: G06F16/3329 ,  G06F16/334 ,  G06N3/0455

Abstract: 本发明涉及人工智能技术领域，公开了一种冲突感知的动态对比解码方法、装置、计算机设备及存储介质，基于当前上下文与模型内部参数知识是否存在冲突，即实时检测模型内部状态，感知冲突是否发生，动态地决策是否使用对比解码方式。如果确定模型内部状态为存在冲突，则使用对比解码方式，将模型注意力集中在上下文，减少冲突之间的竞争。反之，如果模型内部状态为不存在冲突，则使用简单的贪婪解码方式结合上下文与模型内部参数知识来回答问题，这样可以提高无冲突场景下模型问答准确率和生成内容可读性。