-
公开(公告)号：CN119783748A
公开(公告)日：2025-04-08
申请号：CN202411977917.7
申请日：2024-12-31
Applicant: 哈尔滨工业大学
Abstract: 一种基于混合专家架构的大语言模型自适应多偏好对齐方法及系统，涉及人工智能领域。解决了现有技术中需要一种拥有自适应能力的多偏好混合方法促使多偏好研究的落地的问题。所述方法包括：在大语言模型上添加已设计的基于混合专家架构的偏好混合模块；冻结大语言模型中主干网络参数，调节偏好混合模块，获得已合成的偏好数据；确定偏好对齐算法，基于已合成的偏好数据，将分组软损失与偏好对齐算法中的损失函数相结合，获得目标损失函数；使用收集包含多种偏好的的数据集，基于所获得的目标损失函数对大语言模型进行训练，获得偏好平衡的大语言模型。还适用于硬件计算能力的增强和算法改进领域。
-
公开(公告)号：CN117574874B
公开(公告)日：2025-03-04
申请号：CN202311396268.7
申请日：2023-10-25
Applicant: 哈尔滨工业大学
IPC: G06F40/20 , G06F18/22 , G06F16/9535 , G06N20/10 , G06Q50/18
Abstract: 一种基于自学习策略的专利成果转化推荐方法及装置，方法包括：获取专利数据集；从每个企业的专利中各抽取一件专利，组成训练集；采用多种方法计算所述训练集中每件专利的摘要文本与所述数据集中剩余专利的摘要文本的相似度；根据采用预设方法计算得到的所述相似度，将所述数据集中剩余专利按照降序排列，得到前m件专利组成样本组，每个样本的样本特征为采用多种方法计算得到的多个所述相似度；基于所述样本组对支持向量机排序模型进行训练；获取待转化专利文本，将所述待转化专利文本输入所述支持向量机排序模型，得到推荐企业结果；该方法不需要人工标注数据，且采用多种方法计算相似度，推荐结果准确率高。
-
公开(公告)号：CN118114686B
公开(公告)日：2024-10-18
申请号：CN202410157029.4
申请日：2024-02-04
Applicant: 哈尔滨工业大学
Abstract: 一种基于思维链的大模型机器翻译强化方法、系统、设备及介质，属于机器翻译技术领域，解决了大语言模型在执行训练数据之外或者低资源、特殊领域的翻译任务时翻译效果不好，如果对模型微调，使其继续适应需求，会带来更庞大的计算资源，难以实施的问题。所述方法包括：S1：构建领域知识库，将待翻译原文输入到所述领域知识库中，获得领域知识；S2：构建大语言模型，将待翻译原文和所述领域知识输入到所述大语言模型中，对所述领域知识进行增强，获得增强后的领域知识；S3：根据待翻译原文和增强后的领域知识，构建prompt；S4：采用大语言模型，结合所述prompt，对待翻译原文进行翻译，获得多个翻译结果。本发明适用于各种特定领域的大批量文本翻译场景。
-
公开(公告)号：CN114529758B
公开(公告)日：2024-10-01
申请号：CN202210084807.2
申请日：2022-01-25
Applicant: 哈尔滨工业大学
IPC: G06V10/764 , G06V10/80 , G06V10/82 , G06F40/284 , G06N3/045 , G06N3/0464 , G06N3/09
Abstract: 本发明提出了一种基于对比学习和多头自注意力机制的多模态情感分析方法，本发明采用预训练模型，对文本和图片进行序列特征提取，之后针对图像采用基于多头自注意力机制的Transformer‑Encoder结构进行二次序列特征提取，然后将文本序列特征和图像序列特征拼接后使用Transformer‑Encoder进行特征提取，得益于自注意力机制，可以帮助文本和图像特征更好的对齐和融合；最后采用多任务学习，辅助模型更好的进行情感分类任务；同时加入两种辅助对比学习任务，帮助模型更好的提取学习文本和图像融合后的特征，帮助模型提升数据情感的区分能力。
-
公开(公告)号：CN118114686A
公开(公告)日：2024-05-31
申请号：CN202410157029.4
申请日：2024-02-04
Applicant: 哈尔滨工业大学
Abstract: 一种基于思维链的大模型机器翻译强化方法、系统、设备及介质，属于机器翻译技术领域，解决了大语言模型在执行训练数据之外或者低资源、特殊领域的翻译任务时翻译效果不好，如果对模型微调，使其继续适应需求，会带来更庞大的计算资源，难以实施的问题。所述方法包括：S1：构建领域知识库，将待翻译原文输入到所述领域知识库中，获得领域知识；S2：构建大语言模型，将待翻译原文和所述领域知识输入到所述大语言模型中，对所述领域知识进行增强，获得增强后的领域知识；S3：根据待翻译原文和增强后的领域知识，构建prompt；S4：采用大语言模型，结合所述prompt，对待翻译原文进行翻译，获得多个翻译结果。本发明适用于各种特定领域的大批量文本翻译场景。
-
Patent Agency Ranking
公开(公告)号：CN117993396A
公开(公告)日：2024-05-07
申请号：CN202410091557.4
申请日：2024-01-23
Applicant: 哈尔滨工业大学
IPC: G06F40/58 , G06F40/284 , G06F40/289 , G06F18/22
Abstract: 本发明是一种基于RAG的大模型机器翻译方法。本发明涉及大语言模型翻译技术领域，本发明对原始语言序列分词处理，对语言序列嵌入表示转化，基于同语言建立翻译资料库；基于翻译需求，对原始语言进行拆分，进行原文嵌入表示获取；基于原文嵌入表示与翻译资料库，进行相似度计算；根据相似度计算获取和需求接近的翻译示例，结合翻译示例和大模型，生成贴合需求的译文。发明采用的prompt构造方式相比于普通的prompt以及随意使用示例的prompt能够更好的帮助大语言模型生成符合需求的译文，在特定领域翻译和翻译风格化上有着很好的效果。
-
公开(公告)号：CN117556833A
公开(公告)日：2024-02-13
申请号：CN202311332992.3
申请日：2023-10-16
Applicant: 哈尔滨工业大学
IPC: G06F40/47 , G06F40/58 , G06F40/56 , G06F40/166
Abstract: 本发明是一种基于大模型数据增强的机器翻译自动后编辑方法。本发明涉及机器翻译自动后编辑和数据增强技术领域，本发明通过领域筛选和正向翻译生成大量可用于训练的伪数据，借助大语言模型生成额外的辅助机器翻译译文，解决自动后编辑任务面临的数据稀缺问题，再将数据增强后得到的所有数据传入跨语言预训练模型mBART中进行训练，有效提升机器翻译译文质量。本发明所提出的方法合理利用了大语言模型的语言能力，能简单高效地解决自动后编辑任务面临的数据稀缺问题，同时该方法能直接适用于多语言对上的自动后编辑任务，而不必训练多个机器翻译模型用于不同语言对上的数据增强。
-
公开(公告)号：CN117371576A
公开(公告)日：2024-01-09
申请号：CN202311171887.6
申请日：2023-09-12
Applicant: 哈尔滨工业大学
IPC: G06Q10/04 , G06Q50/18 , G06F18/22 , G06F18/23213 , G06F16/35 , G06N3/0464
Abstract: 一种专利授权率预测方法、系统、设备及存储介质，属于信息处理技术领域，解决现有专利审查过程中存在的无法全面检索并使用与专利相关的公开的现有技术从而导致预测的准确率下降的问题。所述方法包括：获取待测专利文献的摘要，对摘要文本进行向量化，得到摘要的向量；计算待测专利文献的余弦和公开专利数据集的余弦相似度；选取N篇与待测专利文献的余弦相似度最高的公开专利，并对其于待测专利文献进行训练，得到处理后文本和选取出的公开专利的向量表示；采集公开专利文献的主题；计算公开专利文献与其主题向量的距离，作为数据分布表示；通过卷积层、池化层和全连接层获得专利授权预测结果。本发明适用于专利授权率的预测场景。
-
公开(公告)号：CN117350306A
公开(公告)日：2024-01-05
申请号：CN202311229851.9
申请日：2023-09-22
Applicant: 哈尔滨工业大学
IPC: G06F40/51 , G06F40/58 , G06N3/0455 , G06N3/088 , G06N3/09 , G06N3/0895 , G06N3/0442
Abstract: 一种基于预训练模型注意力机制的无监督词汇级翻译质量评估方法和系统，涉及词汇级翻译质量评估领域。解决了现有技术对于汇级别对于标注数据的依赖性强的问题。所述方法包括：S1：部署两个多语言预训练模型XLM‑RoBERTa和XLM‑Align，并无需追加训练；S2：获取两个预训练模型的Transformer层的自注意力矩阵；S3：根据所述预训练模型的Transformer层的自注意力矩阵进行逐次分析待评估词汇与其余词汇的注意力权值，将注意力权值作为词汇级翻译的质量评估的评分。本发明应用于人工智能领域。
-
公开(公告)号：CN117291174A
公开(公告)日：2023-12-26
申请号：CN202311149657.X
申请日：2023-09-07
Applicant: 哈尔滨工业大学
IPC: G06F40/216 , G06F40/289 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 一种基于自定义掩码对象的预训练语言模型优化方法、设备及存储介质，属于自然语言技术领域。解决了预训练语言模型在领域任务中的应用存在一定的领域不适配性、由于领域文本的识别问题使得预训练语言模型在训练时未能学习到足够领域知识而导致领域任务表现不佳的问题。所述方法包括：采集输入文本，采用所述分词工具对所述输入文本进行处理，得到处理后的输入文本；将所述处理后的输入文本采用编码器获得每个位置的字的上下文表示；基于所述上下文表示，采用分类器获得处理后的输入文本的损失函数，并依据所述损失函数进行梯度回传和参数更新，完成对模型的优化。本发明适用于处理专利文献识别处理领域预训练模型的领域化问题。
-
-
-
-
-
-
-
-
-
Search Results
113
records
(took 0.034 seconds)
