公开(公告)号：CN120011533A

公开(公告)日：2025-05-16

申请号：CN202411932410.X

申请日：2024-12-26

Applicant: 暨南大学

Inventor： 黄斐然 ,  马伟元 ,  刘文骁 ,  周志博 ,  刘志全 ,  谢绍均

IPC: G06F16/334 ,  G06F16/335 ,  G06F16/36 ,  G06F40/295 ,  G06N5/022 ,  G06N5/04

Abstract: 本发明公开了一种基于知识蒸馏与思维链的轻量化信息抽取方法及系统，涉及自然语言处理中的信息抽取技术领域，包括：首先，对领域文本进行预处理，利用少样本学习进行数据增强，生成伪数据以提高模型在特定领域的表现；随后，通过大语言模型进行微调，提取文本中的实体、关系和事件和推理中间结果等关键信息；接着，应用知识蒸馏技术，将微调后的大模型知识压缩至轻量化模型中。同时采用检索增强生成技术和思维链机制，结合实时查询外部知识库，精确地从文本中提取结构化信息，逐步完成复杂信息提取任务。本发明提升了信息抽取的准确性和模型的轻量化部署效果，适用于命名实体识别、关系抽取、事件检测和情感分析等多种任务。

公开(公告)号：CN120012771A

公开(公告)日：2025-05-16

申请号：CN202411932124.3

申请日：2024-12-26

Applicant: 暨南大学

Inventor： 黄斐然 ,  邱嘉萌 ,  刘文骁 ,  刘志全 ,  周志博

IPC: G06F40/279 ,  G06F40/211 ,  G06F40/253 ,  G06F16/334

Abstract: 本发明公开了一种基于大语言模型的多语言通用词性识别方法及系统，涉及自然语言处理与词性识别的技术领域，包括：采用大语言模型作为核心基座模型，通过低秩适配技术进行高效微调，设计语言和多领域的词汇与句法分析，使用模型蒸馏将大模型的知识迁移到一个小模型,以减少模型大小和计算成本，通过设计规范化的提示词引导模型生成标准化的输出，并从中自动完成词性识别任务，最后用代码解析模型输出生成JSON格式数据，以供后续的业务系统的集成使用，确保高效支持前端展示和后端业务逻辑处理。本发明输出的词性信息可用于多种下游任务，如智能搜索、文本分类、代码解析和语法校验，为多种业务系统提供数据支持。

公开(公告)号：CN120011534A

公开(公告)日：2025-05-16

申请号：CN202411932523.X

申请日：2024-12-26

Applicant: 暨南大学

Inventor： 黄斐然 ,  徐冲 ,  刘文骁 ,  周志博 ,  刘志全

IPC: G06F16/334 ,  G06F40/194 ,  G06F40/279 ,  G06F18/214 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于大语言模型的实体消歧和遗忘方法及系统，涉及自然语言处理的实体消歧技术领域，包括；确定实体消歧数据集和遗忘数据集，构建对比学习样本并进行数据预处理；利用LLaMA3模型提取特征，添加投影层和对比学习模块；通过构建损失函数，对于每个样本，使用余弦相似度计算其特征表示与正负样本的相似度，使用对比损失来度量模型在区分正负样本的效果；基于损失值，通过反向传播更新模型参数，直到模型收敛。本发明以LLaMA3模型基础架构，基于对比学习的方法增强了模型的判别能力，同时提供了实现遗忘机制的途径。本发明为模型在自然语言处理领域的研究和应用提供新的思路。

公开(公告)号：CN119377497A

公开(公告)日：2025-01-28

申请号：CN202411476650.3

申请日：2024-10-22

Applicant: 暨南大学

Inventor： 黄斐然 ,  丁思艺 ,  陈国良 ,  谢绍均 ,  周志博

IPC: G06F16/9536 ,  G06N3/047 ,  G06N3/0464 ,  G06N3/042 ,  G06N3/0895 ,  G06N3/098

Abstract: 本发明公开了一种基于对比学习辅助推荐系统抵御托攻击的方法及系统，属于推荐系统安全领域，包括：使用交互数据建立交互矩阵，将目标用户的邻居节点作为正样本，非目标用户的邻居节点作为负样本，实现数据增广,建立对比学习模型、用户检测模型和抵御托攻击的推荐模型，通过将三个模型进行联合训练，训练完成后计算用户物品的交互分数，取分数为top20的交互物品形成用户推荐列表。本发明在推荐系统的基础上，结合对比学习和多层感知机，能够检测虚假用户，并利用置信值作为权重实现抵御托攻击的推荐系统方法，该方法解决了检测虚假用户正确率低和托攻击下推荐效果差的问题，有效提升了检测虚假用户准确率和推荐系统抵御托攻击能力。

公开(公告)号：CN119760120A

公开(公告)日：2025-04-04

申请号：CN202411660991.6

申请日：2024-11-20

Applicant: 暨南大学

Inventor： 周志博 ,  杨正航 ,  谢绍均 ,  黄斐然

IPC: G06F16/335 ,  G06F16/334 ,  G06N20/00 ,  G06F16/36

Abstract: 本发明公开了一种基于大语言模型的文本序列推荐方法及系统，属于推荐算法技术领域，包括：数据预处理阶段、大语言模型预训练阶段、序列模型微调阶段以及匹配阶段。本发明通过引入大语言模型到文本序列推荐任务，能够利用大语言模型丰富的预训练语料，更好的对文本进行建模；同时通过将文本进行序列建模，激活了大模型中对于序列推荐建模的能力，摆脱了传统推荐算法中基于ID的推荐范式，更好的在冷启动场景和知识迁移的场景下进行推荐任务学习处理；最后通过序列模型对推荐结果的最终优化，能够实现以往大语言模型输出结果存在幻觉无法精准匹配的问题。

公开(公告)号：CN118939832A

公开(公告)日：2024-11-12

申请号：CN202410935761.X

申请日：2024-07-12

Applicant: 暨南大学

Inventor： 周志博 ,  陈炜俊 ,  谢绍均 ,  黄斐然

IPC: G06F16/735 ,  G06F18/10 ,  G06F18/213 ,  G06F18/214 ,  G06N3/042

Abstract: 本发明公开了一种基于图神经网络的影视推荐方法及系统，属于计算机数据挖掘与分析技术领域，包括：采集用户交互数据并进行预处理后，采用图结构建立图神经网络推荐模型，用于将用户和影视作为节点，分别建立用户的正向意图和负向意图的二部图；基于图神经网络推荐模型，将网络开源的带评分数据的影视平台数据集作为训练数据进行模型训练，提取负向意图表征的信息，以增强正向意图表征，并通过多层感知机为增强后的结果丰富非线性关系，获取用户与不同影视内容之间的交互评分；基于交互评分的高低，为用户推荐影视内容。本发明充分考虑用户行为意图的多样性和影视资源之间的关联性，本发明将为用户带来更加全面、深入的影视推荐体验。