-
公开(公告)号：CN114626529A
公开(公告)日：2022-06-14
申请号：CN202210179894.X
申请日：2022-02-25
Applicant: 华南理工大学
IPC: G06N5/04 , G06F40/211 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种自然语言推理微调方法、系统、装置及存储介质，其中方法包括：获取前提文本与假设文本，对前提文本与假设文本进行分词，获得文本的离散编码；将离散编码输入预训练模型中进行句向量建模，获得隐藏向量；将隐藏向量拆分为前提隐藏向量和假设隐藏向量；将前提隐藏向量的句首向量输入到推理模块进行推理任务，并获取第一损失；将前提隐藏向量输入到文本生成模块进行生成任务，并获取第二损失；将第一损失和第二损失进行相加，根据相加获得的损失优化预训练模型、推理模块以及文本生成模块。本发明能够充分学习句子间的语义相关性，在原本的推理任务中取得更好的效果。本发明可广泛应用于自然语言推理技术领域。
-
公开(公告)号：CN109635109A
公开(公告)日：2019-04-16
申请号：CN201811430542.7
申请日：2018-11-28
Applicant: 华南理工大学
CPC classification number: G06F17/2785 , G06F17/271 , G06F17/274 , G06F17/2775 , G06K9/6273 , G06N3/0454 , G06N3/084
Abstract: 本发明公开了一种基于LSTM并结合词性及多注意力机制的句子分类方法，包括步骤：在输入层中将每个句子转化成两个基于连续和稠密的语义词向量矩阵和词性词向量矩阵；在共享的双向LSTM层中分别学习句子中词或词性的上下文信息，并将每一步的学习结果进行串联后输出；在自注意力层中采用自注意力机制及点乘函数分别从语义词向量序列和词性词向量序列学习句子中各个位置上的重要局部特征，得到相应的语义注意力向量和词性注意力向量，并通过KL距离对它们进行约束；在合并层中利用得到的语义注意力向量和词性注意力向量对双向LSTM层的输出序列进行加权求和，得到句子的语义表征和词性表征，并得到最终的句子语义表示；最后通过MLP输出层进行预测和分类输出。
-
公开(公告)号：CN106982411A
公开(公告)日：2017-07-25
申请号：CN201710164635.9
申请日：2017-03-20
Applicant: 华南理工大学
Abstract: 本发明公开了一种基于WIFI探针数据的实时客流统计方法，步骤包括S1、在一天的时间内，实时收集店铺的WIFI探针数据，并将WIFI探针数据存储于服务器中，且服务器对WIFI探针数据进行统计；S2、服务器对WIFI探针数据进行筛选，用于过滤不符合客流人数计算规则的mac地址；S3、服务器对筛选后留下的mac地址进行统计，相应的mac地址数量就为得到客流人数的数量；在客流人数中，若在今天之前的时间里没有被记录为客流人数的mac地址，则把此mac地址记为进店人数，并统计进店人数的数量；S4、在一天结束的时候，服务器对客流人数和进店人数的数据进行持久化存储。本发明能够准确统计商铺的流动人群，具有实时性高、计算速度快、统计精确等优点。
-
公开(公告)号：CN118484531A
公开(公告)日：2024-08-13
申请号：CN202410432499.7
申请日：2024-04-11
Applicant: 华南理工大学
IPC: G06F16/35 , G10L15/26 , G06N3/0455 , G06N3/088 , G06F18/213 , G06F18/25 , G06F18/24 , G06F18/22
Abstract: 本发明公开了一种多轮对话产品分类方法、装置及存储介质，方法包括：根据多轮长对话文本中获取输入文本；结合字符向量、片段向量，以及分层位置编码向量进行建模，提取序列特征向量；将序列特征向量中每个句子，输入模型后输出的向量，作为该句子的句向量；通过注意力机制获取用户产品信息对于句向量的注意力权重，对句向量进行加权融合，以获取长文本特征向量；将长文本特征向量与用户产品信息进行拼接，作为文本表示特征向量；根据文本表示特征向量进行产品分类，获得最终产品分类结果。本发明通过将绝对位置编码通过分层转化为相对位置编码，并且通过注意力机制对句向量进行融合表示，进而提升产品分类的性能，可广泛应用于自然语言处理领域。
-
公开(公告)号：CN114781356B
公开(公告)日：2024-06-21
申请号：CN202210248412.1
申请日：2022-03-14
Applicant: 华南理工大学
IPC: G06F40/211 , G06F40/284 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于输入共享的文本摘要生成方法。所述方法包括以下步骤：对文本进行计算得到句子，并将句子组合得到多个候选摘要文本，得到候选摘要数据集；得到模型输入序列，计算模型输入序列的注意力掩码矩阵；构建文本摘要生成模型，获取候选摘要文本对应的最终的候选摘要得分；使用候选摘要得分，以候选摘要文本的真实得分监督文本摘要生成模型的训练，得到训练好的文本摘要生成模型；获取待推理文本，进行预处理后输入训练好的文本摘要生成模型，选取候选摘要得分的候选摘要文本作为待推理文本的摘要文本。本发明能够减少输入到模型中的词数，在保留大部分生成效果的前提下，极大提高模型的训练速度与推理速度。
-
Patent Agency Ranking
公开(公告)号：CN116911284A
公开(公告)日：2023-10-20
申请号：CN202310654175.3
申请日：2023-06-02
Applicant: 华南理工大学
IPC: G06F40/232 , G06F40/289 , G06F18/24 , G06F18/25 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种中文拼写检查方法、装置及存储介质，属于文字检错领域。其中方法包括：获取中文文本序列，根据BERT分词器和BERT嵌入模块，将中文文本序列转换为字符嵌入E；将字符嵌入E输入到包含浅层字符表征融合机制的BERT编码器模块进行字符向量建模，获得初始隐含向量H；将字符嵌入E和初始隐含向量H输入到CNN局部语义抽取模块进行字符的局部语义向量建模，获得局部语义隐含向量H′；将局部语义隐含向量H′和初始隐含向量H相加的结果输入到推理模块进行推理任务，获得预测结果Y，并获得损失值。本发明能够充分学习和利用字符的所属特征，并建立错别字和上下文的局部语义表征，在原本的中文拼写检查任务中取得更好的效果。
-
公开(公告)号：CN112163429B
公开(公告)日：2023-08-29
申请号：CN202011031042.3
申请日：2020-09-27
Applicant: 华南理工大学
IPC: G06F40/30 , G06F40/211 , G06N3/0464 , G06N3/044 , G06N3/048 , G06N3/045 , G06N3/084
Abstract: 本发明公开了一种结合循环网络及BERT的句子相关度获取方法、系统及介质，其中方法包括：对待识别的两个句子进行分词，将句子合并成一个句子对，合并各个单词的位置词向量、单词词向量信息及分段信息作为BERT层的输入；通过BERT层学习句子及句子之间的上下文信息和关系，输出词向量语义序列和全局特征表示；对词向量语义序列进行学习，获得包含目标文本的局部特征表示；利用串联对句子的全局特征表示和局部特征表示进行合并，获得最终语义表示，根据最终语义表示对句子的相关度进行判断，并输出判断结果。本发明利用BERT学习句子间的上下文信息后，提取句子的局部信息，提高了句子相关度判别的精准度，可广泛应用于自然语言处理领域。
-
公开(公告)号：CN109062893B
公开(公告)日：2021-09-21
申请号：CN201810768223.0
申请日：2018-07-13
Applicant: 华南理工大学
IPC: G06F40/289 , G06F40/295 , G06N3/08
Abstract: 本发明公开了一种基于全文注意力机制的商品名称识别方法，包括：建立加入全文注意力机制的深度神经网络模型，在深度神经网络模型中加入全文注意力层，在全文注意力层当中，将全文的信息用词嵌入向量的方法来表示；接着，对于要标注的每一个词语，计算它们和全文注意力层词向量的相似性，从而让词语获得对全文的“注意力权重”，即让词语关注到文档的上下文信息，利用注意力权重和，计算出每一个词语的额外特征，用以进行商品名称的识别。本发明方法能够有效的从不规则的文本中提取出商品名，并解决了同一种商品在上下文识别不一致的问题，提高了识别的准确率。
-
公开(公告)号：CN107169035A
公开(公告)日：2017-09-15
申请号：CN201710257132.6
申请日：2017-04-19
Applicant: 华南理工大学
Abstract: 本发明公开了一种混合长短期记忆网络和卷积神经网络的文本分类方法，通过充分结合双向长短期记忆网络在学习文本的上下文信息方面的优势以及卷积神经网络在学习文本局部特征方面的优势，利用双向长短期记忆网络学习词的上下文信息后，再通过卷积神经网络进一步学习提取上下文信息的词向量的局部特征，接着再利用双向长短期记忆网络学习这些局部特征的上下文，形成固定维度的输出，最后通过一个多层感知器进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了很好的效果。
-
公开(公告)号：CN114817494B
公开(公告)日：2024-06-21
申请号：CN202210346843.1
申请日：2022-04-02
Applicant: 华南理工大学
IPC: G06F16/332 , G06F16/33 , G06F40/211 , G06F40/289 , G06N3/0455 , G06N3/09
Abstract: 本发明公开了一种基于预训练和注意力交互网络的知识型检索式对话方法，包括如下步骤：在目标语料库上使用领域适应性预训练方法训练预训练语言模型BERT，得到领域适应性BERT；使用领域适应性BERT作为注意力交互网络的编码器，对对话上下文、背景知识和若干候选响应文本分别编码得到相应表征；最后将对话上下文、背景知识和若干候选响应的表征分别输入到注意力交互网络进行匹配，训练注意力交互网络从若干候选响应中检索出最佳响应。本发明利用预训练语言模型强大的语义表征能力，通过两个预训练任务提高预训练语言模型在特定语料库上的语义表征能力，并采用注意力交互网络缓解为提高检索速度而采用的分离编码所带来的性能下降。
-
-
-
-
-
-
-
-
-
Search Results
35
records
(took 0.019 seconds)
