-
公开(公告)号：CN119808952A
公开(公告)日：2025-04-11
申请号：CN202510020048.7
申请日：2025-01-07
Applicant: 清华大学深圳国际研究生院 , 深圳市智搜信息技术有限公司
Abstract: 本发明提出了一种基于自适应对比学习的大语言模型知识纠偏方法，旨在提高模型在自然语言处理任务中的准确性和可信度。该方法包括以下步骤：S1、将模型知识划分为四个象限，以识别模型对知识的掌握情况。S2、通过设定上限阈值(IK)和下限阈值(IDK)，探测模型的知识边界，确定模型对每个问题的信心度量。S3、根据探测结果，收集模型已知和未知的知识数据，构建对比学习数据，包括正样本和负样本。S4、采用自适应对比学习策略，通过拉近正样本和推远负样本，增强模型对知识的掌握能力，同时保持模型的生成能力。实验证明，该方法能显著提升模型回复的真实性指标性能，对于缓解大语言模型的幻觉问题具有重要意义。
-
公开(公告)号：CN114781651B
公开(公告)日：2024-12-24
申请号：CN202210565539.6
申请日：2022-05-23
Applicant: 清华大学深圳国际研究生院 , 鹏城实验室
IPC: G06N20/00 , G06F40/30 , G06F40/242 , G06F40/166
Abstract: 本发明公开了一种基于对比学习的小样本学习鲁棒性提升方法，包括以下步骤：S1、对原始数据集进行预处理，构造对抗数据集和对比数据集；S2、将原始数据集、对抗数据集和对比数据集分别输入预训练语言模型中，得到相应的嵌入表示，并使用对比学习损失函数计算三种嵌入表示之间的距离；S3、根据对比学习损失函数与原模型的损失函数计算模型更新的梯度，以总体损失更小为目标来训练模型。本发明通过构造对抗和对比数据集为模型鲁棒性学习提供数据支持，使用对比学习目标函数计算损失能够更好地获取原始样本与对抗样本的相似性，也能更好地区分原始样本与对比样本的差异，从而提升模型受到对抗或者对比扰动时的鲁棒性。
-
公开(公告)号：CN119003691A
公开(公告)日：2024-11-22
申请号：CN202410999442.5
申请日：2024-07-23
Applicant: 腾讯科技(深圳)有限公司 , 清华大学深圳国际研究生院
Abstract: 本申请实施例公开了一种答案确定方法、装置、设备及介质，属于计算机技术领域。该方法包括：基于问题的描述信息与多个样本问题的描述信息之间的相似度，从多个样本问题中，确定第一样本问题；基于问题、第一样本问题及第一样本问题的样本答案，生成第一指示信息；通过大语言模型，对第一指示信息进行处理，得到问题的答案。本申请通过从多个样本问题中确定出与待解答的问题类似的第一样本问题，以使大语言模型能够利用自身强大的推理能力，将第一样本问题及对应的样本答案为示例，以学习第一样本问题与样本答案之间的关联性，进而对问题进行解答，能够保证得到的答案能够准确地对问题进行回答，以保证答案的准确性，进而保证人机交互效率。
-
公开(公告)号：CN118796966A
公开(公告)日：2024-10-18
申请号：CN202411096264.1
申请日：2024-08-12
Applicant: 清华大学深圳国际研究生院 , 北京三快在线科技有限公司
IPC: G06F16/29 , G06F18/241 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种用于神经网络训练的大规模POI数据处理和加载方法，包括以下步骤：S1：定义基本参数；S2：辅助文件构建；S3：数据加载，即为系统实际使用时的工作过程，对步骤S1中的辅助文件进行逐步解析以得到结果。采用本方法，POI相关数据的处理高效且磁盘和内存占用低；随机读取高效，复杂度为O(1)，内存占用低；分割为训练、验证和测试集的过程高效、计算资源消耗低。
-
公开(公告)号：CN114840747B
公开(公告)日：2024-08-23
申请号：CN202210404048.3
申请日：2022-04-18
Applicant: 清华大学深圳国际研究生院
IPC: G06F16/9535 , G06F16/906 , G06N20/00 , G06F18/22
Abstract: 本发明公开了基于对比学习的新闻推荐方法，包括基于对比学习的用户兴趣抽取步骤；所述用户兴趣抽取步骤包括：提供一用户兴趣编码器，该用户兴趣编码器被配置为对用户浏览的新闻序列进行编码得到兴趣向量；对所述用户浏览的新闻序列进行编码得到第一兴趣向量；对所述用户浏览的新闻序列进行数据增强，再对数据增强后的新闻序列进行编码得到第二兴趣向量；训练所述用户兴趣编码器，训练过程中，引入使所述第一兴趣向量和所述第二兴趣向量相接近，并使所述第一兴趣向量与其它用户的兴趣向量相远离的兴趣对比学习损失。
-
Patent Agency Ranking
公开(公告)号：CN114912145B
公开(公告)日：2024-08-16
申请号：CN202210530051.X
申请日：2022-05-16
Applicant: 清华大学深圳国际研究生院
Abstract: 本发明公开了一种智能合约机密执行方法及系统，包括如下步骤：S1、根据用户的输入标注涉及敏感数据的智能合约函数；S2、自动检测用户调用的智能合约函数是否含有参数，接着检测用户是否有对该函数进行标注，以此判断该函数是否需要保护；S3、利用事先构建的本地节点和安全容器环境节点分别对智能合约函数进行执行：本地节点直接在本地执行不需要保护的智能合约函数，安全容器环境节点在远程的可信执行环境中执行需要保护的智能合约函数。本发明仅将需要保护的函数运行于可信执行环境之中，以此减小TCB尺寸，降低代码风险。并且本地模型与安全容器节点以HTTP的形式交互，避免了本地模型必须支持IntelSGX的硬性要求。
-
公开(公告)号：CN117574882A
公开(公告)日：2024-02-20
申请号：CN202311600238.3
申请日：2023-11-28
Applicant: 清华大学深圳国际研究生院
IPC: G06F40/232 , G06N5/04 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 一种渐进式多任务的中文错别字纠正方法，包括如下步骤：S1、检测子任务识别一个句子中哪个是错别字；S2、推理子任务根据所述检测子任务检测出来的错别字进行推理，以确定造成所述错别字的原因是音近还是形近；S3、搜索子任务根据所述检测子任务和所述推理子任务提供的错别字的位置和错误类型，在对应的外部混淆集中搜索出正确的字。通过将纠错任务分解成三个难度子任务，分别进行错别字的识别，错别字的错误归因，以及引入外部知识进行纠正，以提升现有纠错模型的性能，并且该方法能将已训练好的模块与任意非自回归纠错模型相结合实现即插即用性，直接提升模型性能而节约训练时间。
-
公开(公告)号：CN117056589A
公开(公告)日：2023-11-14
申请号：CN202310884863.9
申请日：2023-07-18
Applicant: 华为技术有限公司 , 清华大学深圳国际研究生院
IPC: G06F16/9535 , G06F18/23213 , G06F18/213 , G06N3/0455 , G06N3/084
Abstract: 本申请实施例公开了一种物品推荐方法及其相关设备，可将正确的物品推荐给用户，从而提高用户体验。本申请的方法包括：可先获取与用户相关联的信息，该信息用于描述与用户的历史行为相关联的多个历史物品，并将该信息输入至目标模型。那么，目标模型可先对该信息进行特征提取，从而得到多个历史物品的特征。接着，目标模型可对多个历史物品的特征进行聚类，从而得到多个类别，其中，每一个类别包含至少一个历史物品的特征。然后，目标模型可对多个类别进行基于注意力机制的处理，从而得到并输出用户的特征。最后，可将用户的特征用于与多个候选物品的特征进行匹配，并基于匹配结果在多个候选物品中，确定可推荐给用户的物品。
-
公开(公告)号：CN113239166B
公开(公告)日：2023-06-06
申请号：CN202110567502.2
申请日：2021-05-24
Applicant: 清华大学深圳国际研究生院
IPC: G06F16/332 , G06F16/33 , G06F40/289 , G06F40/247 , G06F40/30 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了一种基于语义知识增强的自动化人机交互方法，本发明给定一段文本，能自动生成一段语义相同且表达能力更强的文本，从而提升人机交互过程的多样性。本发明可以用来构建智能写作系统，即可以为用户已经创造的文本提供一些不同表达方式的候选项文本，用户可以从中选择，并进行进一步的修改，从而使得创造出来的文本更具表现力，多样性，避免用词用句重复单调；本发明解决使用传统的语言生成技术无法有效地进行自动化文本改写的问题，本发明设计一个基于多头注意力机制的神经网络模型，同时利用外部语义知识提升文本改写的多样性和灵活性。相比于传统基于模板的文本改写方法，本发明具备更高的灵活性和通用性，极大地减少人工的参与度，降低生产成本。
-
公开(公告)号：CN112836217B
公开(公告)日：2023-02-10
申请号：CN202110036603.7
申请日：2021-01-12
Applicant: 清华大学深圳国际研究生院
Abstract: 本发明公开了一种基于SGX的动态减小TCB的区块链虚拟机方法及系统，结合污点分析技术，动态地减小TCB，降低代码风险，在方案中融入污点分析，根据智能合约源代码，自动定位智能合约中的涉及敏感数据的敏感代码语句，并获取敏感代码语句对应的虚拟机操作码。在获取敏感和非敏感虚拟机操作码后，选择模块将会根据敏感/非敏感操作码选择对应的运行在虚拟机中的C++函数。虚拟机模块将会根据智能合约编译后的字节码执行用户的请求，对于涉及敏感数据的操作码，将会在SGX提供的可信任执行环境Enclave中执行，不涉及敏感数据的操作码，将会在Enclave外部运行，以此减小TCB。
-
-
-
-
-
-
-
-
-
Search Results
69
records
(took 0.049 seconds)
