公开(公告)号：CN117172293B

公开(公告)日：2025-05-13

申请号：CN202311122615.7

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林志航 ,  张玉鑫 ,  晁飞

IPC: G06N3/0495 ,  G06N3/082 ,  G06V40/10 ,  G06V10/82

Abstract: 用于N:M稀疏微调的自适应蒸馏方法，涉及人工神经网络的压缩与加速。包括以下几个步骤：1)使用基于权重大小的N:M剪枝方案剪枝预训练模型。2)利用自适应知识蒸馏将预训练模型中的知识迁移到N:M稀疏模型中，其中自适应知识蒸馏可以根据学生模型特征图和教师模型特征图中激活值的差异，自动将学生特征图中差异较大的激活值替换成教师特征图中的激活值，来减少学生模型学习的难度，加快学生模型微调的收敛速度。可以通过使用提出的自适应知识蒸馏方法来加快预训练模型的N:M稀疏微调，并且降低由N:M稀疏带来的精度损失。

公开(公告)号：CN118691473A

公开(公告)日：2024-09-24

申请号：CN202410791699.1

申请日：2024-06-19

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林志航 ,  林明宝

IPC: G06T3/4053 ,  G06T3/4007 ,  G06T5/70 ,  G06T11/00 ,  G06T5/20

Abstract: 本发明公开一种无重复高分辨率图片生成方法，使用预训练的文生图稳定扩散模型，根据指定的文本提示词生成目标分辨率的图片，解决DemoFusion会生成重复的小物体和膨胀采样信息不平滑的问题，最终生成无重复的高分辨率图片。图片生成方法包括：1、从高斯噪声中随机采样一个与稳定扩散模型的训练分辨率等大的噪声并进行去噪，保留跨模态注意力产生的跨注意力图；2、将训练分辨率对应的噪声插值到目标分辨率对应的噪声，每次放大1倍；3、对2的结果添加高斯噪声，并保存中间过程产生的高斯噪声；4、一共进行T次去噪；5、如果当前分辨率满足目标分辨率，则使用解码器解码噪声，得到高分辨率图片，否则返回2。

公开(公告)号：CN118536595A

公开(公告)日：2024-08-23

申请号：CN202410554989.4

申请日：2024-05-07

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林志航 ,  林明宝

IPC: G06N5/04 ,  G06N3/045

Abstract: 本发明公开一种利用视觉令牌提前撤出来加速多模态大语言模型推理的方法，包括a.通过在目标数据集的子集上进行策略搜索以确定提前撤出视觉令牌的撤出层K；b.根据确定的撤出层K，循环进行——在多模态大语言模型的第1层到第K‑1层进行正常的前向推理；在第K层去除所有视觉令牌；在多模态大语言模型的第K层到第N层进行无视觉令牌参与的前向推理；计算多模态大语言模型分类头的预测分布，根据当前的预测分布确定下一个令牌，然后将该令牌拼接到上一次预测的输入令牌之后：返回第一步，直到多模态大语言模型预测产生停止符。本发明能够避免重要性评价指标的设计，灵活应对、回答不同的问题，并实现与KV缓存技术的兼容。

公开(公告)号：CN117172293A

公开(公告)日：2023-12-05

申请号：CN202311122615.7

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林志航 ,  张玉鑫 ,  晁飞

IPC: G06N3/0495 ,  G06N3/082 ,  G06V40/10 ,  G06V10/82

Abstract: 用于N:M稀疏微调的自适应蒸馏方法，涉及人工神经网络的压缩与加速。包括以下几个步骤：1)使用基于权重大小的N:M剪枝方案剪枝预训练模型。2)利用自适应知识蒸馏将预训练模型中的知识迁移到N:M稀疏模型中，其中自适应知识蒸馏可以根据学生模型特征图和教师模型特征图中激活值的差异，自动将学生特征图中差异较大的激活值替换成教师特征图中的激活值，来减少学生模型学习的难度，加快学生模型微调的收敛速度。可以通过使用提出的自适应知识蒸馏方法来加快预训练模型的N:M稀疏微调，并且降低由N:M稀疏带来的精度损失。

公开(公告)号：CN119996853A

公开(公告)日：2025-05-13

申请号：CN202510105755.6

申请日：2025-01-23

Applicant: 厦门大学

Inventor： 曹刘娟 ,  宋泉鉴 ,  林志航 ,  曾展鹏 ,  黄钊宏 ,  纪荣嵘

IPC: H04N23/95 ,  H04N5/262 ,  H04N21/854

Abstract: 本发明公开一种无需训练、无需显示修复的带有相机控制的视频生成方法，使得普通基座模型也能具备相机控制能力，该方法在潜在空间中操作，无需额外的修复模型和深度估计模型，实现了简洁轻量化。该视频生成方法在去噪过程中的特定时间步#imgabs0#对每一帧的潜在变量执行重排列操作；通过改变潜在变量的排列顺序模拟特定的摄像机动作；随后，在潜在空间中应用了重采样策略对新视角区域进行填充，同时结合跨帧融合对齐策略，确保采样过程在帧与帧之间保持一致性；引入了一种噪声重注入机制，通过在去噪后期将噪声重新注入潜在变量中，延长去噪时间，缓解因重排列、重采样而造成的分布偏移现象，有效提高了视频生成质量。